备案控制台
开发者社区 大数据 文章 正文

Hive高级优化

2018-03-13 4080
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：


并发执行

1240

job1: a join b aa
job2: c join d cc
job3: aa join cc
说明： job1和job2可以并行执行。

JVM重用

它是对map/reduce 运行的任务，一个jvm可以运行多个map 任务。小数据可以使用jvm重用。性能可以提升70%

1240

Reduce的数据

默认reduce的任务是一个，可以根据自己的业务进行手动调整，不断测试把它调节到一个合适的值。

1240

推测执行

说明：MapReduce调优，默认启用的，最后把它关闭掉，这只为false。
场景：运行reduce时，有的慢，有的快，applicationMaster在另外一个机器上启动一个一模一样的reduce，那个先完成用那个。

1240

Map数据

说明：依照块的大小来


image.png
文章标签：
SQL
HIVE
Java
分布式计算
关键词：
Hive优化
突突修
目录
相关文章
aliyun5297948689-49597
|
1月前
|
SQL 存储 分布式计算
Hive数据仓库设计与优化策略：面试经验与必备知识点解析
本文深入探讨了Hive数据仓库设计原则（分区、分桶、存储格式选择）与优化策略（SQL优化、内置优化器、统计信息、配置参数调整），并分享了面试经验及常见问题，如Hive与RDBMS的区别、实际项目应用和与其他组件的集成。通过代码样例，帮助读者掌握Hive核心技术，为面试做好充分准备。
aliyun5297948689-49597
139 0
赵广陆
|
9月前
|
SQL 分布式计算 监控
Hive性能优化之计算Job执行优化 2
Hive性能优化之计算Job执行优化
赵广陆
120 1
赵广陆
|
9月前
|
SQL 存储 分布式计算
Hive性能优化之表设计优化1
Hive性能优化之表设计优化1
赵广陆
51 1
Byyyi
|
1月前
|
SQL 分布式计算 资源调度
Hive 优化总结
Hive优化主要涉及HDFS和MapReduce的使用。问题包括数据倾斜、操作过多和不当使用。识别倾斜可通过检查分区文件大小或执行聚合抽样。解决方案包括整体优化模型设计，如星型、雪花模型，合理分区和分桶，以及压缩。内存管理需调整mapred和yarn参数。倾斜数据处理通过选择均衡连接键、使用map join和combiner。控制Mapper和Reducer数量以避免小文件和资源浪费。减少数据规模可调整存储格式和压缩，动态或静态分区管理，以及优化CBO和执行引擎设置。其他策略包括JVM重用、本地化运算和LLAP缓存。
Byyyi
35 4
Hive 优化总结
张飞的猪
|
7天前
|
SQL 资源调度 数据库连接
Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南
在Tez上优化Hive查询，包括配置参数调整、理解并行化机制以及容器管理。关键步骤包括YARN调度器配置、安全阀设置、识别性能瓶颈（如mapper/reducer任务和连接操作），理解Tez如何动态调整mapper和reducer数量。例如，`tez.grouping.max-size` 影响mapper数量，`hive.exec.reducers.bytes.per.reducer` 控制reducer数量。调整并发和容器复用参数如`hive.server2.tez.sessions.per.default.queue` 和 `tez.am.container.reuse.enabled`
张飞的猪
17 0
Byyyi
|
1月前
|
SQL 存储 大数据
Hive的查询、数据加载和交换、聚合、排序、优化
Hive的查询、数据加载和交换、聚合、排序、优化
Byyyi
49 2
月亮给我抄代码
|
1月前
|
SQL 分布式计算 资源调度
一文看懂 Hive 优化大全（参数配置、语法优化）
以下是对提供的内容的摘要，总长度为240个字符： 在Hadoop集群中，服务器环境包括3台机器，分别运行不同的服务，如NodeManager、DataNode、NameNode等。集群组件版本包括jdk 1.8、mysql 5.7、hadoop 3.1.3和hive 3.1.2。文章讨论了YARN的配置优化，如`yarn.nodemanager.resource.memory-mb`、`yarn.nodemanager.vmem-check-enabled`和`hive.map.aggr`等参数，以及Map-Side聚合优化、Map Join和Bucket Map Join。
月亮给我抄代码
55 0
爱吃糖的范同学
|
1月前
|
SQL 存储 分布式计算
【Hive】Hive优化有哪些？
【4月更文挑战第16天】【Hive】Hive优化有哪些？
爱吃糖的范同学
113 7
让线程再跑一会
|
1月前
|
SQL HIVE 索引
Hive【Hive（五）函数-高级聚合函数、炸裂函数】
Hive【Hive（五）函数-高级聚合函数、炸裂函数】
让线程再跑一会
148 0
星光下的赶路人
|
10月前
|
SQL HIVE
Hive学习---4、函数（单行函数、高级聚合函数、炸裂函数、窗口函数）（二）
Hive学习---4、函数（单行函数、高级聚合函数、炸裂函数、窗口函数）（二）
星光下的赶路人
145 0

热门文章

最新文章

  • 1
    Hive架构优点及使用场景
  • 2
    Hive之数据倾斜的原因和解决方法
  • 3
    原来MaxCompute还能这么玩系列（2）—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通
  • 4
    HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令
  • 5
    17.4. HiveQL - Hive查询语言
  • 6
    hive0.13用户自建表无权限bug fix
  • 7
    hive导入nginx日志
  • 8
    hive升级至0.11 partition schemal问题
  • 9
    hive join
  • 10
    Hive partition prune的一个Bug
  • 1
    bigdata-17-Hive部署与Hive基础
    64
  • 2
    阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移
    790
  • 3
    hive学习笔记
    35
  • 4
    DataWorks报错问题之集成hive数据源报错如何解决
    71
  • 5
    DataWorks报错问题之从hive到mysql报错如何解决
    38
  • 6
    Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
    217
  • 7
    Apache Hudi与Hive集成手册
    146
  • 8
    DataWorks常见问题之hive jdbc加载数据错误如何解决
    49
  • 9
    Hive中日期处理函数的使用（date_format、date_add、date_sub、next_day）
    246
  • 10
    Hive窗口函数案例总结
    40

    • 相关课程

    更多
  • 大数据Hive教程精讲
  • Hadoop企业优化及扩展案例
  • 实时数据接入：5分钟上手 Flink MySQL 连接器
  • HBase入门与实战
  • HBase入门教程
  • 分布式数据库 HBase 快速入门

    • 相关电子书

    更多
  • Comparison of Spark SQL with Hive
  • Hive Bucketing in Apache Spark
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • PolarDB NL2SQL：自然语言驱动的数据智能
  • MySQL引擎及架构优化
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 5分钟上手Flink MySQL连接器
  • 使用PolarDB-X与Flink搭建实时数据大屏
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）