hive优化

简介:

1、set hive.auto.convert.join=true


设置此参数可以在最大表通过mapper的时候将小表完全放入内存中,从而省略掉常规reduce过程,有时可以减少map过程步骤,启动时执行优化放入 $HOME/.hiverc文件中

用户可以配置小表大小(字节)

hive.mapjoin.smalltable.filesize=25000000


hive对于右外连接和全外链接不支持这个优化


2、set mapred.reduce.tasks=300 

限制reduce个数为300,等于-1取消限制,限制reduce的个数可以减少内存的使用,防止内存溢出










本文转自 yntmdr 51CTO博客,原文链接:http://blog.51cto.com/yntmdr/1718614,如需转载请自行联系原作者
目录
相关文章
|
7月前
|
SQL 分布式计算 监控
Hive性能优化之计算Job执行优化 2
Hive性能优化之计算Job执行优化
98 1
|
7月前
|
SQL 存储 分布式计算
Hive性能优化之表设计优化1
Hive性能优化之表设计优化1
36 1
|
1天前
|
SQL 存储 分布式计算
【Hive】Hive优化有哪些?
【4月更文挑战第16天】【Hive】Hive优化有哪些?
|
4月前
|
SQL 分布式计算 Hadoop
Hive SQL 优化
Hive SQL 优化
48 1
|
7月前
|
SQL 分布式计算 资源调度
Hive性能优化之计算Job执行优化 1
Hive性能优化之计算Job执行优化
97 0
Hive性能优化之计算Job执行优化 1
|
7月前
|
SQL 存储 分布式计算
Hive性能优化之表设计优化2
Hive性能优化之表设计优化2
52 1
|
9月前
|
SQL 分布式数据库 HIVE
Hive 优化
Hive 优化
63 0
|
SQL 存储 负载均衡
工作常用之Hive 调优【四】HQL 语法优化
列裁剪就是在查询时只读取需要的列,分区裁剪就是只读取需要的分区。当列很多或者数据量很大时,如果 select * 或者不指定分区,全列扫描和全表扫描效率都很低。
170 0
工作常用之Hive 调优【四】HQL 语法优化
|
存储 SQL 分布式计算
工作常用之Hive 调优【三】 Explain 查看执行计划及建表优化
在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多,所以我们需要把常常用在 WHERE 语句中的字段指定为表的分区字段。
283 0
工作常用之Hive 调优【三】 Explain 查看执行计划及建表优化
|
SQL 分布式计算 Hadoop
【Hadoop技术篇】hive的优化,经典面试
1) 开启配置:set hive.optimize.bucketmapjoin = true; 2) 一个表的bucket数是另一个表bucket数的==整数倍== 3) bucket列 == join列 4) 满足map join条件
253 0
【Hadoop技术篇】hive的优化,经典面试