开发者社区> 问答> 正文

在事先知道输入足够小以适合内存时,可以使用什么样的可配置参数来确保查询在单个map-reduce作业

在事先知道输入足够小以适合内存时,可以使用什么样的可配置参数来确保查询在单个map-reduce作业中执行?

展开
收起
游客ysk6odvtzspxs 2021-12-05 09:42:07 667 0
1 条回答
写回答
取消 提交回答
  • 1.hive.auto.convert.join.noconditionaltask - Hive是否支持基于输入文件大小将公共连接转换为map join的优化。如果此参数打开,并且n路连接的表/分区的n-1的大小总和小于指定的大小,则该连接将直接转换为mapjoin(没有条件任务)。

    2.hive.auto.convert.join.noconditionaltask.size - 如果hive.auto.convert.join.noconditionaltask已关闭,则此参数不会生效。 但是,如果它打开,并且 n 路连接的 表 / 分区的 n-1 的大小总和小于此大小,则连接将直接转换为map join(没有条件任务)。 默认值为10MB。

    2021-12-05 09:42:56
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载
HBase2.0重新定义小对象实时存取 立即下载