• 小区麻将馆 何时不扰民 2019-06-26
  • 纷纷“结缘”世界杯 家电企业图什么 2019-06-13
  • 推动吉台两地合作发展再上新台阶 2019-05-29
  • 中青报:父亲的“卖牛钱”被打赏 该如何管住孩子的手 2019-05-29
  • 任建明解读中纪委五次全会亮点 展望新时期反腐制度建设 2019-05-28
  • 全国首套房贷款利率连续17个月上升 2019-05-25
  • 昌赣高铁假期加紧施工 2019-05-25
  • 美国再挑贸易战,中方强力回击,全球市场跌声一片 2019-05-24
  • 【学习时刻学思践悟十九大①】人民大学马亮:在新时代增强党的改革创新本领 2019-05-24
  • 我们的节日2018端午——华龙网 2019-05-22
  • 生产过剩之繁荣,浪费资源大不该。 2019-05-22
  • “相信中华民族伟大复兴的中国梦一定会实现” 2019-05-08
  • 卡赛首站启动 欧马可S3助力危化品运输 2019-05-04
  • 深秋烟雾偎婺源文章中国国家地理网 2019-05-04
  • 公安部端午节假期首日将现出行高峰 上午达峰值——人民政协网 2019-05-01
  • 当前位置 > CPDA数据分析师 > “数”业专攻 > 如何用hadoop定义一个公共类WordCount1

    云南快乐十分直选走势图:如何用hadoop定义一个公共类WordCount1

    浙江快乐彩和值走势图 www.pn-vs.com 来源:数据分析师 CPDA | 时间:2015-12-11 | 作者:admin

    QQ图片20151211174101

    public static class WordCountMapper //定义一个公共静态类WordCountMapper
    extends Mapper<Object,Text,Text,IntWritable> //继承Mapper对象,泛型定义key、value值
    {

    private final static IntWritable one = new IntWritable(1); //实例化IntWritable,定义私有最终静态常量,并赋值为1
    private Text word = new Text(); //实例化对象Text

    public void map(Object key,Text value,Context context) //定义map方法,为(key,Text,context),并且无返回值
    throws IOException, InterruptedException { //抛出异常
    String[] words = value.toString().split(" "); //定义字符串数组words,调用value下的Text中的tostring方法,以" "作为分片标准

    for (String str: words) //增强for循环,遍历words数组
    {
    word.set(str); //从text中找到由字符串组成单词
    context.write(word,one); //将从text中截取的字符串以key/value值输出
    }

    }
    }

    public static class WordCountReducer //定义一个公共静态类WordCountReducer
    extends Reducer<Text,IntWritable,Text,IntWritable> { //继承Reducer对象,泛型定义输入和输出的key、value值
    public void reduce(Text key,Iterable<IntWritable> values,Context context) //定义reduce方法,为(key,迭代算法values,context),无返回值

    throws IOException, InterruptedException { //抛出异常

    int total=0; //输入整形变量total,初始赋值为0
    for (IntWritable val : values){ //加强for循环,定义val类型,遍历values数组
    total++; //遇到相同的字符,total值自加1
    }
    context.write(key, new IntWritable(total)); //将所得到的值以key/values值输出
    }

    }

    public static void main (String[] args) throws Exception{ //定义一个静态主函数
    Configuration conf = new Configuration();

    conf.set("mapred.jar","wc1.jar");

    Job job = new Job(conf, "word count");
    job.setJarByClass(WordCount1.class);
    job.setMapperClass(WordCountMapper.class);
    job.setReducerClass(WordCountReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
    }

    }

  • 小区麻将馆 何时不扰民 2019-06-26
  • 纷纷“结缘”世界杯 家电企业图什么 2019-06-13
  • 推动吉台两地合作发展再上新台阶 2019-05-29
  • 中青报:父亲的“卖牛钱”被打赏 该如何管住孩子的手 2019-05-29
  • 任建明解读中纪委五次全会亮点 展望新时期反腐制度建设 2019-05-28
  • 全国首套房贷款利率连续17个月上升 2019-05-25
  • 昌赣高铁假期加紧施工 2019-05-25
  • 美国再挑贸易战,中方强力回击,全球市场跌声一片 2019-05-24
  • 【学习时刻学思践悟十九大①】人民大学马亮:在新时代增强党的改革创新本领 2019-05-24
  • 我们的节日2018端午——华龙网 2019-05-22
  • 生产过剩之繁荣,浪费资源大不该。 2019-05-22
  • “相信中华民族伟大复兴的中国梦一定会实现” 2019-05-08
  • 卡赛首站启动 欧马可S3助力危化品运输 2019-05-04
  • 深秋烟雾偎婺源文章中国国家地理网 2019-05-04
  • 公安部端午节假期首日将现出行高峰 上午达峰值——人民政协网 2019-05-01
  • 竞彩篮球让分胜负投注心得 鹿岛鹿角对川崎前锋的历史 山西快乐10分常见组合 3d组三最大遗漏值 冰球大作战过关攻略 利盈娱乐城真人龙虎斗 彩票开奖北京28 重庆时时彩代购网站 湖北快3最新开奖结果走势图 意甲极速体育直播吧 3d开机号近10期3d之家 今天安徽25选5开奖结果 安徽时时彩玩法 围棋段位 内蒙古十一选五基本走势图手机版