MapReduce编程例子之Combiner与Partitioner

简介: MapReduce编程例子之Combiner与Partitioner

0x00 教程内容


  1. 本教程是在“MapReduce入门例子之单词计数”上做的升级,请查阅此教程。
  2. 包括了实现Combiner与Partitioner编程,都是一些编程技巧。


0x01 Combiner讲解


1. 优势

a. 其实就是本地的reducer,在本地先聚合一次

b. 可以减少Map Tasks输出的数据量以及数据网络的传输量

2. 使用场景

a. 适用于求和、次数等的加载

b. 求平均数等的计算并不合适


0x02 Partitioner讲解


1. 意义

a. 决定MapTask输出的数据交由哪个ReduceTask处理

b. 默认:计算分发的key的hash值对Reduce Task的个数取模决定有哪个处理


2. 测试单词的Hash值

a. 在进行WordCount的时候,我们可以通过测试代码,计算一下每个单词的Hash值是多少,然后再观察值最终是去到了哪个节点。

b. 如果我们是设置成了2个Reduce,则% 2,测试代码如下:


public class HashCodeTest {
    public static void main(String[] args) {
        System.out.println("an".hashCode() % 2);
        System.out.println("name".hashCode() % 2);
        System.out.println("you".hashCode() % 2);
        System.out.println("are".hashCode() % 2);
        System.out.println("example".hashCode() % 2);
        System.out.println("friend".hashCode() % 2);
        System.out.println("how".hashCode() % 2);
        System.out.println("is".hashCode() % 2);
        System.out.println("my".hashCode() % 2);
        System.out.println("this".hashCode() % 2);
        System.out.println("twq".hashCode() % 2);
        System.out.println("what".hashCode() % 2);
    }
}


0x03 编程实操


1. 实现Combiner

a. 逻辑上与reduce是一样的,因为其实就是本地聚合,在mian方法里添加此句即可:

job.setCombinerClass(MyReducer.class);

image.png

2. 自定义Partitioner

a. 准备统计的数据:

student 1500
teacher 200
student 2000
teacher 300
student 2000
teacher 300
doctor 100
doctor 200
artist 55


b. 修改MyMapper类里面的map方法代码:


for(String word :  words) {
  context.write(new Text(word), one);
}


修改成:

context.write(new Text(words[0]), new LongWritable(Long.parseLong(words[1])));

c. 添加一个Partitioner类:


public static class MyPartitioner extends Partitioner<Text, LongWritable> {
  @Override
  public int getPartition(Text key, LongWritable value, int numPartitions) {
    if(key.toString().equals("student")) {
      return 0;
    }
    if(key.toString().equals("teacher")) {
      return 1;
    }
    if(key.toString().equals("doctor")) {
      return 2;
    }
    return 3;
  }
}


d. 在main方法里添加上自定义的Partitioner类以及Reducer的个数:

//设置job的partition
job.setPartitionerClass(MyPartitioner.class);
//设置4个reducer
job.setNumReduceTasks(4);


0xFF 总结


  1. 注意reducer个数要与你文件的类型个数一致,如student、teacher、doctor、artist四种,则设置为4
  2. 如何执行请查看前面的教程。
相关文章
|
5天前
|
分布式计算 Hadoop Java
MapReduce编程模型——在idea里面邂逅CDH MapReduce
MapReduce编程模型——在idea里面邂逅CDH MapReduce
28 15
|
11天前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
16 1
|
4天前
|
存储 分布式计算 Hadoop
MapReduce编程模型——自定义序列化类实现多指标统计
MapReduce编程模型——自定义序列化类实现多指标统计
7 0
|
6天前
|
机器学习/深度学习 分布式计算 并行计算
MapReduce是一种用于并行计算的编程模型和处理大规模数据集的实现
MapReduce是一种用于并行计算的编程模型和处理大规模数据集的实现
18 0
|
11天前
|
存储 分布式计算 Hadoop
Hadoop生态系统详解:HDFS与MapReduce编程
Apache Hadoop是大数据处理的关键,其核心包括HDFS(分布式文件系统)和MapReduce(并行计算框架)。HDFS为大数据存储提供高容错性和高吞吐量,采用主从结构,通过数据复制保证可靠性。MapReduce将任务分解为Map和Reduce阶段,适合大规模数据集的处理。通过代码示例展示了如何使用MapReduce实现Word Count功能。HDFS和MapReduce的结合,加上YARN的资源管理,构成处理和分析大数据的强大力量。了解和掌握这些基础对于有效管理大数据至关重要。【6月更文挑战第12天】
30 0
|
12天前
|
分布式计算 自然语言处理 大数据
【大数据】MapReduce JAVA API编程实践及适用场景介绍
【大数据】MapReduce JAVA API编程实践及适用场景介绍
30 0
|
1月前
|
分布式计算 资源调度 Hadoop
MapReduce分布式编程
MapReduce分布式编程
38 1
|
1月前
|
分布式计算 并行计算 Java
【分布式计算框架】 MapReduce编程初级实践
【分布式计算框架】 MapReduce编程初级实践
33 2
|
1月前
|
分布式计算 数据可视化 Hadoop
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
413 0
|
1月前
|
机器学习/深度学习 分布式计算 监控
面经:MapReduce编程模型与优化策略详解
【4月更文挑战第10天】本文是关于MapReduce在大数据处理中的关键作用的博客摘要。作者分享了面试经验,强调了MapReduce的基本原理、Hadoop API、优化策略和应用场景。MapReduce包含Map和Reduce两个主要阶段,Map阶段处理输入数据生成中间键值对,Reduce阶段进行聚合计算。面试重点包括理解MapReduce工作流程、使用Hadoop API编写Map/Reduce函数、选择优化策略(如分区、Combiner和序列化)以及应用场景,如日志分析和机器学习。
35 2