Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现(十八)

简介:

    首先,来说的是,reduce并发任务数,默认是1。

即,在jps后,出现一个yarnchild。之后又消失。

 

    

 

 

   这里,我控制reduce并发任务数6。

 

 

  有多少个reduce的并发任务数可以在程序里控制,但有多少个map的并发任务数还没。

  其实啊,多少个map的并发任务数还没(是在分片中控制的)。

 

 

 

 

 

 

 1、现在,我们控制为map的并发任务数为4。(即是在分片中控制)

 

 

 

 

   2、 jps ->   生成个Runjar  -> 

 

 

 

 

 

     3、jps -> 生成个Runjar  ->  生成个MRAppMaster(运行map任务)

soga

 

 

 

 

 4、 jps  ->  生成个Runjar  ->  生成个MRAppMaster(运行map任务) -> 查看map并发任务数 ->

 

 

  5、 jps  -> 生成个Runjar  ->  生成个MRAppMaster(运行map任务) -> 查看map并发任务数 ->  Map的Task进程被回收  ->查看reduce并发任务数 -> Reduce的Task进程被回收 –> jps

 

        以上是单独控制了Mapreduce的map并发任务数和reduce并发任务数。

 

 

 

 

总结

  前者Mapreduce的map并发任务数默认是1,控制reduce并发任务数为6。

  后者控制map并发任务数为4,Mapreduce的reduce并发任务数默认是1。

  综合即控制map,又控制reduce,不再赘述。

 

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5713652.html,如需转载请自行联系原作者

相关文章
|
分布式计算 Hadoop
Hadoop系列 mapreduce 原理分析
Hadoop系列 mapreduce 原理分析
335 1
|
分布式计算 算法 数据库
32 MAPREDUCE的map端join算法实现
32 MAPREDUCE的map端join算法实现
188 0
|
存储 分布式计算 负载均衡
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解(超详细)
2049 0
|
存储 分布式计算 Hadoop
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解(超详细必看)
1296 0
|
存储 分布式计算 Hadoop
Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
【4月更文挑战第3天】Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)
1127 3
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
920 2
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
446 3
|
分布式计算 负载均衡 算法
Hadoop-31 ZooKeeper 内部原理 简述Leader选举 ZAB协议 一致性
Hadoop-31 ZooKeeper 内部原理 简述Leader选举 ZAB协议 一致性
266 1
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
379 1
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
318 1

热门文章

最新文章

相关实验场景

更多