在事先知道输入足够小以适合内存时,可以使用什么样的可配置参数来确保查询在单个map-reduce作业中执行?
1.hive.auto.convert.join.noconditionaltask - Hive是否支持基于输入文件大小将公共连接转换为map join的优化。如果此参数打开,并且n路连接的表/分区的n-1的大小总和小于指定的大小,则该连接将直接转换为mapjoin(没有条件任务)。
2.hive.auto.convert.join.noconditionaltask.size - 如果hive.auto.convert.join.noconditionaltask已关闭,则此参数不会生效。 但是,如果它打开,并且 n 路连接的 表 / 分区的 n-1 的大小总和小于此大小,则连接将直接转换为map join(没有条件任务)。 默认值为10MB。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。