开发者社区 问答 正文

在事先知道输入足够小以适合内存时,可以使用什么样的可配置参数来确保查询在单个map-reduce作业

在事先知道输入足够小以适合内存时,可以使用什么样的可配置参数来确保查询在单个map-reduce作业中执行?

展开
收起
游客ysk6odvtzspxs 2021-12-05 09:42:07 689 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 1.hive.auto.convert.join.noconditionaltask - Hive是否支持基于输入文件大小将公共连接转换为map join的优化。如果此参数打开,并且n路连接的表/分区的n-1的大小总和小于指定的大小,则该连接将直接转换为mapjoin(没有条件任务)。

    2.hive.auto.convert.join.noconditionaltask.size - 如果hive.auto.convert.join.noconditionaltask已关闭,则此参数不会生效。 但是,如果它打开,并且 n 路连接的 表 / 分区的 n-1 的大小总和小于此大小,则连接将直接转换为map join(没有条件任务)。 默认值为10MB。

    2021-12-05 09:42:56 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等