• 坚守一条红线 维护生态安全(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-11-12
  • 《辉煌中国》第五集《共享小康》 2019-11-12
  • 这事咋办No.2丨申请西安保障性住房必看 花生让你有房住 2019-11-11
  • 预热世界杯 玩法各异!3张竞彩红单了解一下 2019-10-18
  • 崇拜不劳而获是腐败的根源之一,正气不足是腐败的第二个根源,沉迷于初级趣味易滋生腐败,提高素质力争不想腐,以医者之心防治腐败。 2019-10-09
  • 人民日报评论员随笔:让文化热情涵养更多经典 2019-10-09
  • 国产手机跟进“刘海屏”,凸显苹果在智能手机市场的影响力 2019-10-05
  • 世界杯倒计时:球迷街头狂欢为自己的国家打Call 2019-10-02
  • 紫光阁中共中央国家机关工作委员会 2019-09-24
  • 洪崖洞客流激增 渝中开通2条应急通道12辆公交车驰援 2019-09-24
  • 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 当前位置 > CPDA数据分析师 > “数”业专攻 > 如何用hadoop定义一个公共类WordCount1

    浙江快乐彩和值走势图:如何用hadoop定义一个公共类WordCount1

    浙江快乐彩和值走势图 www.pn-vs.com 来源:数据分析师 CPDA | 时间:2015-12-11 | 作者:admin

    QQ图片20151211174101

    public static class WordCountMapper //定义一个公共静态类WordCountMapper
    extends Mapper<Object,Text,Text,IntWritable> //继承Mapper对象,泛型定义key、value值
    {

    private final static IntWritable one = new IntWritable(1); //实例化IntWritable,定义私有最终静态常量,并赋值为1
    private Text word = new Text(); //实例化对象Text

    public void map(Object key,Text value,Context context) //定义map方法,为(key,Text,context),并且无返回值
    throws IOException, InterruptedException { //抛出异常
    String[] words = value.toString().split(" "); //定义字符串数组words,调用value下的Text中的tostring方法,以" "作为分片标准

    for (String str: words) //增强for循环,遍历words数组
    {
    word.set(str); //从text中找到由字符串组成单词
    context.write(word,one); //将从text中截取的字符串以key/value值输出
    }

    }
    }

    public static class WordCountReducer //定义一个公共静态类WordCountReducer
    extends Reducer<Text,IntWritable,Text,IntWritable> { //继承Reducer对象,泛型定义输入和输出的key、value值
    public void reduce(Text key,Iterable<IntWritable> values,Context context) //定义reduce方法,为(key,迭代算法values,context),无返回值

    throws IOException, InterruptedException { //抛出异常

    int total=0; //输入整形变量total,初始赋值为0
    for (IntWritable val : values){ //加强for循环,定义val类型,遍历values数组
    total++; //遇到相同的字符,total值自加1
    }
    context.write(key, new IntWritable(total)); //将所得到的值以key/values值输出
    }

    }

    public static void main (String[] args) throws Exception{ //定义一个静态主函数
    Configuration conf = new Configuration();

    conf.set("mapred.jar","wc1.jar");

    Job job = new Job(conf, "word count");
    job.setJarByClass(WordCount1.class);
    job.setMapperClass(WordCountMapper.class);
    job.setReducerClass(WordCountReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
    }

    }

  • 坚守一条红线 维护生态安全(在习近平新时代中国特色社会主义思想指引下——新时代新作为新篇章) 2019-11-12
  • 《辉煌中国》第五集《共享小康》 2019-11-12
  • 这事咋办No.2丨申请西安保障性住房必看 花生让你有房住 2019-11-11
  • 预热世界杯 玩法各异!3张竞彩红单了解一下 2019-10-18
  • 崇拜不劳而获是腐败的根源之一,正气不足是腐败的第二个根源,沉迷于初级趣味易滋生腐败,提高素质力争不想腐,以医者之心防治腐败。 2019-10-09
  • 人民日报评论员随笔:让文化热情涵养更多经典 2019-10-09
  • 国产手机跟进“刘海屏”,凸显苹果在智能手机市场的影响力 2019-10-05
  • 世界杯倒计时:球迷街头狂欢为自己的国家打Call 2019-10-02
  • 紫光阁中共中央国家机关工作委员会 2019-09-24
  • 洪崖洞客流激增 渝中开通2条应急通道12辆公交车驰援 2019-09-24
  • 中央环保督察“回头看”10省区问责630人 2019-09-19
  • 天津举办改善营商环境专题讲座 2019-09-19
  • 日本核能行业誓言日本将在今年内重新启用核电 2019-09-03
  • 中国保险行业协会发布汽车后市场配件合车标准 2019-09-02
  • 晋中市通报五起违反中央八项规定精神问题 2019-08-30
  • 捕鱼游戏中心 微信十三张 三公玩法及规则 金7乐开奖走势图 澳洲幸运10开奖统一么 排3组选457前后关系 扑克牌九有那些牌 时时彩快乐10分 中原风彩2019098期开奖公告 麻将老虎机压分技巧 江西时时彩技巧 时时乐走势图 海南飞鱼彩票销售点 安徽11选5基本玩法 扑克牌所有图片大全