• 【央视快评】让传统文化焕发新时代风采 2019-08-22
  • 后高考时代 孩子们这样致青春 2019-08-12
  • 湖南高校:将十九大精神融入基础课教学建设 2019-08-12
  • 兰州大学“习近平新时代中国特色社会主义思想研究中心”成立 2019-08-10
  • 监察体制改革后 湘西半年72名公职人员主动交代问题 2019-08-10
  • 中方有力回击!美国多个行业喊痛:“加征关税就是对美国消费者征税” 2019-08-07
  • 工信部:鼓励婴幼儿配方乳企质量安全追溯体系建设 2019-08-06
  • 相思湖边包鱼粽 孝心满满全家欢 2019-07-24
  • 英伦绅士新打开方式 试驾捷豹XFL 3.0SC 2019-07-20
  • 发展改革委就创新和完善宏观调控等答问 2019-07-13
  • 深圳2018年将开行3趟援疆旅游扶贫专列 2019-07-01
  • 房地产就有国家和集体之土地不计价到计价,这笔是经济收入还是财产收入? 2019-07-01
  • Map Out Your Life in Chongqing 2019-06-28
  • 世界杯黄历:日本换帅对战黑马“小哥” 2019-06-27
  • 小区麻将馆 何时不扰民 2019-06-26
  • 当前位置 > CPDA数据分析师 > “数”业专攻 > 如何用hadoop定义一个公共类WordCount1

    快乐12前三直选走势图:如何用hadoop定义一个公共类WordCount1

    浙江快乐彩和值走势图 www.pn-vs.com 来源:数据分析师 CPDA | 时间:2015-12-11 | 作者:admin

    QQ图片20151211174101

    public static class WordCountMapper //定义一个公共静态类WordCountMapper
    extends Mapper<Object,Text,Text,IntWritable> //继承Mapper对象,泛型定义key、value值
    {

    private final static IntWritable one = new IntWritable(1); //实例化IntWritable,定义私有最终静态常量,并赋值为1
    private Text word = new Text(); //实例化对象Text

    public void map(Object key,Text value,Context context) //定义map方法,为(key,Text,context),并且无返回值
    throws IOException, InterruptedException { //抛出异常
    String[] words = value.toString().split(" "); //定义字符串数组words,调用value下的Text中的tostring方法,以" "作为分片标准

    for (String str: words) //增强for循环,遍历words数组
    {
    word.set(str); //从text中找到由字符串组成单词
    context.write(word,one); //将从text中截取的字符串以key/value值输出
    }

    }
    }

    public static class WordCountReducer //定义一个公共静态类WordCountReducer
    extends Reducer<Text,IntWritable,Text,IntWritable> { //继承Reducer对象,泛型定义输入和输出的key、value值
    public void reduce(Text key,Iterable<IntWritable> values,Context context) //定义reduce方法,为(key,迭代算法values,context),无返回值

    throws IOException, InterruptedException { //抛出异常

    int total=0; //输入整形变量total,初始赋值为0
    for (IntWritable val : values){ //加强for循环,定义val类型,遍历values数组
    total++; //遇到相同的字符,total值自加1
    }
    context.write(key, new IntWritable(total)); //将所得到的值以key/values值输出
    }

    }

    public static void main (String[] args) throws Exception{ //定义一个静态主函数
    Configuration conf = new Configuration();

    conf.set("mapred.jar","wc1.jar");

    Job job = new Job(conf, "word count");
    job.setJarByClass(WordCount1.class);
    job.setMapperClass(WordCountMapper.class);
    job.setReducerClass(WordCountReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
    }

    }

  • 【央视快评】让传统文化焕发新时代风采 2019-08-22
  • 后高考时代 孩子们这样致青春 2019-08-12
  • 湖南高校:将十九大精神融入基础课教学建设 2019-08-12
  • 兰州大学“习近平新时代中国特色社会主义思想研究中心”成立 2019-08-10
  • 监察体制改革后 湘西半年72名公职人员主动交代问题 2019-08-10
  • 中方有力回击!美国多个行业喊痛:“加征关税就是对美国消费者征税” 2019-08-07
  • 工信部:鼓励婴幼儿配方乳企质量安全追溯体系建设 2019-08-06
  • 相思湖边包鱼粽 孝心满满全家欢 2019-07-24
  • 英伦绅士新打开方式 试驾捷豹XFL 3.0SC 2019-07-20
  • 发展改革委就创新和完善宏观调控等答问 2019-07-13
  • 深圳2018年将开行3趟援疆旅游扶贫专列 2019-07-01
  • 房地产就有国家和集体之土地不计价到计价,这笔是经济收入还是财产收入? 2019-07-01
  • Map Out Your Life in Chongqing 2019-06-28
  • 世界杯黄历:日本换帅对战黑马“小哥” 2019-06-27
  • 小区麻将馆 何时不扰民 2019-06-26
  • 时彩两平台对刷赚钱 22选5走势图200期 内蒙古11选5和值走势图 新疆时时彩中奖号规律 下载福建快三 湖北十一选五前三直选最大遗漏 欢乐斗地主蓝钻周礼包 1十二生肖时时彩 3d试机号与开奖号的关系 竟彩网首网 北京快三1000期走势图 安徽新11选5开奖走势 金多宝四肖中特期期百 中国福彩双色球规则 历史广西快乐十分开奖