开发者社区> 问答> 正文

Hive如何自定义map/reduce数目?

Hive如何自定义map/reduce数目?

展开
收起
芯在这 2021-12-11 23:15:55 341 0
1 条回答
写回答
取消 提交回答
  • 减少map数目:

      set mapred.max.split.size

      set mapred.min.split.size

      set mapred.min.split.size.per.node

      set mapred.min.split.size.per.rack

      set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

    增加map数目:

    当input的文件都很大,任务逻辑复杂,map执行非常慢的时候,可以考虑增加Map数,来使得每个map处理的数据量减少,从而提高任务的执行效率。

    假设有这样一个任务:

    select data_desc, count(1), count(distinct id),sum(case when …),sum(case when …),sum(…) from a group by data_desc 如果表a只有一个文件,大小为120M,但包含几千万的记录,如果用1个map去完成这个任务,肯定是比较耗时的,这种情况下,我们要考虑将这一个文件合理的拆分成多个,这样就可以用多个map任务去完成。

      set mapred.reduce.tasks=10;

      create table a_1 as select * from a distribute by rand(123); 这样会将a表的记录,随机的分散到包含10个文件的a_1表中,再用a_1代替上面sql中的a表,则会用10个map任务去完成。每个map任务处理大于12M(几百万记录)的数据,效率肯定会好很多。

    reduce数目设置:

    参数1:hive.exec.reducers.bytes.per.reducer=1G:每个reduce任务处理的数据量

    参数2:hive.exec.reducers.max=999(0.95TaskTracker数):每个任务最大的reduce数目

    reducer数=min(参数2,总输入数据量/参数1)

    set mapred.reduce.tasks:每个任务默认的reduce数目。典型为0.99reduce槽数,hive将其设置为-1,自动确定reduce数目。

    2021-12-11 23:16:53
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hive Bucketing in Apache Spark 立即下载
spark替代HIVE实现ETL作业 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载