hadoop之 reduce个数控制-阿里云开发者社区

开发者社区> 技术小美> 正文

hadoop之 reduce个数控制

简介:
+关注继续查看

1、参数变更
1.x 参数名                                                         2.x 参数名 
mapred.tasktracker.reduce.tasks.maximum     mapreduce.tasktracker.reduce.tasks.maximum
mapred.reduce.tasks                                       mapreduce.job.reduces

 

2、参数设置

2.1、mapred.tasktracker.reduce.tasks.maximum设置为逻辑CPU个数

<property> 
<name>mapred.tasktracker.reduce.tasks.maximum</name> 
<value>8</value> 
<final>true</final> 
</property>


2.2.1、 hadoop 服务器端参数设定
mapred.reduce.tasks <= mapred.tasktracker.reduce.tasks.maximum <= 单台 datanode 逻辑cpu个数

2.2.2、应用端调用 job. setNumReduceTasks(int n) 方法指定

文章可以转载,必须以链接形式标明出处。


本文转自 张冲andy 博客园博客,如需转载请自行联系 原作者原文链接:http://www.cnblogs.com/andy6/p/8410590.html

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
8579 0
所有控制文件损坏的恢复--noresetlogs方式
       所有控制文件损坏,或者人为的删除了所有的控制文件,通过控制文件的复制已经不能解决问题,这个时候需要重新建立控制文件。同时注意,alter database backup control file to trace可以产生一个控制文件的文本备份。
715 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
10410 0
PostgreSQL 12 preview - plan_cache_mode参数控制强制使用plan cache或强制custom plan (force_custom_plan and force_generic_plan)
标签 PostgreSQL , plan_cache_mode 背景 plan cache在OLTP中,可以大幅降低生成sql parser, 执行计划的开销。 但是在某些场景中,plan cache可能成为问题,比如AP类型的场景中,由于SQL 输入条件的变化(通常AP业务涉及的条件可能比较容易出现这样的问题),可能导致plan cache并不是最佳的执行计划。
827 0
.htaccess文件的作用(访问控制)
在线工具: http://www.htaccesseditor.com/sc.shtml   说到.htaccess文件,我想对于wordpress新手或者老手都应该不是很熟悉,也没有多少这方面的概念吧,至少小编是这样的,而最近看到一篇有关介绍的文章,觉得很不错,所以今天打算分享给大家,也给自己一篇扫盲课吧! 首先介绍下.htaccess文件到底是什么,.htaccess是Apache HTTP Server系统级别的配置文件,通常用来实现主机本身以外的一些功能的,比如说重定向、Gzip、以及访问限制等等。
1104 0
+关注
6906
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载