开发者社区> 问答> 正文

odps.sql.mapper.split.size属性有什么作用,以及如何根据场景调整它?

odps.sql.mapper.split.size属性有什么作用,以及如何根据场景调整它?

展开
收起
萝卜丝丸子 2024-05-30 14:18:07 112 0
1 条回答
写回答
取消 提交回答
  • odps.sql.mapper.split.size属性用于改变每个Map worker的输入数据量,即输入文件的分片大小。通过调整这个属性,可以间接控制每个Map阶段的worker数量。当处理大量小文件时,可以增大split size来提高执行效率;当资源丰富且需要更多Mapper资源时,可以减小split size来申请更多Mapper。例如,在资源充沛的情况下,通过减小split size为64MB,可以加快任务的执行时间。

    2024-05-30 14:57:55
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载