AI 助理
备案控制台
开发者社区 大数据 文章 正文

配置Hive使用Spark执行引擎

2023-10-17 211
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark。

Hive引擎

概述

在Hive中，可以通过配置来指定使用不同的执行引擎。Hive执行引擎包括：默认MR、tez、spark

MapReduce引擎：

早期版本Hive使用MapReduce作为执行引擎。MapReduce是Hadoop的一种计算模型，它通过将数据划分为小块并在集群上并行处理来完成计算任务。在MapReduce引擎中，Hive将HiveQL查询转换为一系列Map和Reduce阶段的操作，然后由Hadoop的MapReduce框架执行。

Tez引擎：

从Hive 0.13版本开始，引入了Tez作为新的执行引擎。Tez是Hadoop上的一种高性能的数据处理框架，它提供了更低的延迟和更高的吞吐量。Tez引擎通过以更高效的方式执行HiveQL查询，比传统的MapReduce引擎更快速。Tez引擎将HiveQL查询转换为一种称为有向无环图(Directed Acyclic Graph, DAG)的形式，然后通过并行执行任务来实现查询。

Spark引擎：

将Spark作为Hive的执行引擎，以替代Hive默认的MapReduce执行引擎。通过将Spark作为执行引擎，Hive能够利用Spark的并行处理能力和内存计算优势，从而提高查询性能和处理速度。

Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法

Spark on Hive：Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法

使用Spark作为Hive的执行引擎可以带来以下好处：

更快的执行速度：Spark具有内存计算的能力，可以在执行过程中缓存数据，加快查询速度

更高的交互性：Spark支持迭代式查询和实时数据处理，适用于需要更快响应时间的应用场景

更好的资源管理：Spark可以与其他Spark应用程序共享资源，实现更好的资源管理和利用

兼容问题

通常Hive与Spark间存在兼容性，需处理该兼容问题

在Hive解压目录，查看Hive支持的Spark版本

当前Hive版本使用的Spark版本为2.3.0

[root@node01 hive]# ls lib/spark-*
lib/spark-core_2.11-2.3.0.jar     lib/spark-launcher_2.11-2.3.0.jar        lib/spark-network-shuffle_2.11-2.3.0.jar  lib/spark-unsafe_2.11-2.3.0.jar
lib/spark-kvstore_2.11-2.3.0.jar  lib/spark-network-common_2.11-2.3.0.jar  lib/spark-tags_2.11-2.3.0.jar

解决方案：

1.下载与当前Hive版本使用的Spark版本

2.重新编译Hive，使其支持更高的Spark版本

安装Spark

下载Spark

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.4.0/spark-3.4.0-bin-without-hadoop.tgz

解压及重命名 

tar -zxvf spark-3.4.0-bin-without-hadoop.tgz

mv spark-3.4.0-bin-without-hadoop spark

Spark配置

在Spark中配置spark-env.sh

修改文件名

mv conf/spark-env.sh.template  conf/spark-env.sh

vim conf/spark-env.sh，添加配置

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

配置SPARK_HOME环境变量

# Spark
export SPARK_HOME=/usr/local/program/spark
export PATH=$PATH:$SPARK_HOME/bin

使配置生效

source /etc/profile

Hive配置

注意：在Hive正常运行的基础之上进行如下额外配置

在hive中创建spark配置文件

vim conf/spark-defaults.conf

参数代表：在执行任务时，会根据如下参数执行

spark.master  yarn
spark.eventLog.enabled   true
spark.eventLog.dir  hdfs://node01:9000/spark/history
spark.executor.memory 1g
spark.driver.memory    1g

在HDFS创建目录，用于存储历史日志

hadoop fs -mkdir -p /spark/history

HDFS上传Spark的jar包

为什么要HDFS上传Spark的jar包？

  • 使用的是spark-3.4.0-bin-without-hadoop.tgz版本，不带hadoop和hive相关依赖

  • Hive任务由Spark执行，Spark任务资源分配由Yarn来调度，该任务有可能被分配到集群的任何一个节点

  • 因此需要将Spark的依赖上传到HDFS集群路径，让集群中任何一个节点都能获取到

hadoop fs -mkdir -p /spark/jars

hadoop fs -put spark/jars/* /spark/jars

修改hive-site.xml文件

<!--Spark依赖位置 注意：端口号9000必须和namenode的端口号一致 -->
<property>
    <name>spark.yarn.jars</name>
    <value>hdfs://node01:9000//spark/jars/*</value>
</property>

<!--Hive执行引擎-->
<property>
    <name>hive.execution.engine</name>
    <value>spark</value>
</property>

<!--Hive和Spark连接超时时间-->
<property>
    <name>hive.spark.client.connect.timeout</name>
    <value>10000ms</value>
</property>

执行测试

hive (default)> create table tb_user(id int,name string,age int);

hive (default)> insert into tb_user values(2,'hive',20);

查看Yarn控制台：
image.png

注意：

1.yarn的容量调度器对每个资源队列中同时运行的Application Master占用的资源进行了限制，防止大部分资源都被Application Master占用，导致Map/Reduce Task无法执行

2.如果资源不够，可能造成同一时刻只能运行一个Job的情况。

3.通过hadoop/etc/hadoop/capacity-scheduler.xml参数控制，默认值是0.1，即每个资源队列上Application Master最多可使用的资源为该队列总资源的10%

配置示例：

<property>
    <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
    <value>0.5</value>
</property>

速度对比

MapReduce引擎：

2023-08-07 20:11:22,834 INFO  [2704e498-c1b3-4dd5-8658-1f0a1393a3bb main] ql.Driver (SessionState.java:printInfo(1227)) - MapReduce Jobs Launched: 
Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 3.51 sec   HDFS Read: 16233 HDFS Write: 276 SUCCESS
2023-08-07 20:11:22,834 INFO  [2704e498-c1b3-4dd5-8658-1f0a1393a3bb main] ql.Driver (SessionState.java:printInfo(1227)) - Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 3.51 sec   HDFS Read: 16233 HDFS Write: 276 SUCCESS
Total MapReduce CPU Time Spent: 3 seconds 510 msec
2023-08-07 20:11:22,834 INFO  [2704e498-c1b3-4dd5-8658-1f0a1393a3bb main] ql.Driver (SessionState.java:printInfo(1227)) - Total MapReduce CPU Time Spent: 3 seconds 510 msec
2023-08-07 20:11:22,834 INFO  [2704e498-c1b3-4dd5-8658-1f0a1393a3bb main] ql.Driver (Driver.java:execute(2531)) - Completed executing command(queryId=root_20230807200946_06634674-a1f5-4cfa-ae34-166bfda3d90e); Time taken: 92.685 seconds
OK
2023-08-07 20:11:22,834 INFO  [2704e498-c1b3-4dd5-8658-1f0a1393a3bb main] ql.Driver (SessionState.java:printInfo(1227)) - OK
2023-08-07 20:11:22,834 INFO  [2704e498-c1b3-4dd5-8658-1f0a1393a3bb main] ql.Driver (Driver.java:checkConcurrency(285)) - Concurrency mode is disabled, not creating a lock manager
col1    col2    col3
Time taken: 96.059 seconds

Yarn引擎：

--------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------
--------------------------------------------------------------------------------------
          STAGES   ATTEMPT        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  
--------------------------------------------------------------------------------------
          STAGES   ATTEMPT        STATUS  TOTAL  COMPLETED  RUNNING  PENDING  FAILED  
--------------------------------------------------------------------------------------
Stage-0 ........         0      FINISHED      1          1        0        0       0  
Stage-1 ........         0      FINISHED      1          1        0        0       0  
--------------------------------------------------------------------------------------
STAGES: 02/02    [==========================>>] 100%  ELAPSED TIME: 10.24 s    
--------------------------------------------------------------------------------------

由此可大概粗略得知：

在Hive执行引擎中，Yarn引擎的执行效率大概是MapReduce引擎的10倍。

注意：

具体的性能差异取决于多种因素，如数据量的大小、查询的复杂程度、集群的配置等。

文章标签：
分布式计算
SQL
Spark
HIVE
Hadoop
关键词：
apache spark配置
apache spark引擎
Hive配置
配置Hive
Hive引擎
CodeDevMaster
目录
相关文章
呆呆宝
|
5天前
|
分布式计算 Apache 数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
呆呆宝
12 1
叫做饺子
|
1月前
|
分布式计算 Apache Spark
Python与Apache Spark：实时AI的大数据引擎——Spark Streaming实战
7月更文挑战第9天
叫做饺子
65 0
三分钟热度的鱼
|
2月前
|
SQL 分布式计算 HIVE
实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
三分钟热度的鱼
249 3
孜倦与shine
|
2月前
|
SQL 分布式计算 NoSQL
使用Spark高效将数据从Hive写入Redis (功能最全)
使用Spark高效将数据从Hive写入Redis (功能最全)
孜倦与shine
155 1
月亮给我抄代码
|
3月前
|
SQL 分布式计算 关系型数据库
使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常（字段错位）
在 MySQL 的 `order_info` 表中，包含 `order_id` 等5个字段，主要存储订单信息。执行按 `create_time` 降序的查询，显示了部分结果。在 Hive 中复制此表结构时，所有字段除 `order_id` 外设为 `string` 类型，并添加了 `etl_date` 分区字段。然而，由于使用逗号作为字段分隔符，当 `address` 字段含逗号时，数据写入 Hive 出现错位，导致 `create_time` 值变为中文字符串。问题解决方法包括更换字段分隔符或使用 Hive 默认分隔符 `\u0001`。此案例提醒在建表时需谨慎选择字段分隔符。
月亮给我抄代码
55 6
张飞的猪
|
2月前
|
SQL 资源调度 数据库连接
Hive怎么调整优化Tez引擎的查询？在Tez上优化Hive查询的指南
在Tez上优化Hive查询，包括配置参数调整、理解并行化机制以及容器管理。关键步骤包括YARN调度器配置、安全阀设置、识别性能瓶颈（如mapper/reducer任务和连接操作），理解Tez如何动态调整mapper和reducer数量。例如，`tez.grouping.max-size` 影响mapper数量，`hive.exec.reducers.bytes.per.reducer` 控制reducer数量。调整并发和容器复用参数如`hive.server2.tez.sessions.per.default.queue` 和 `tez.am.container.reuse.enabled`
张飞的猪
49 0
Byyyi
|
3月前
|
SQL 存储 分布式计算
Hive详解、配置、数据结构、Hive CLI
Hive详解、配置、数据结构、Hive CLI
Byyyi
74 0
Hive详解、配置、数据结构、Hive CLI
vohelon
|
3月前
|
机器学习/深度学习 分布式计算 数据处理
Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
【5月更文挑战第2天】Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
vohelon
65 3
月亮给我抄代码
|
3月前
|
SQL 分布式计算 资源调度
一文看懂 Hive 优化大全（参数配置、语法优化）
以下是对提供的内容的摘要，总长度为240个字符： 在Hadoop集群中，服务器环境包括3台机器，分别运行不同的服务，如NodeManager、DataNode、NameNode等。集群组件版本包括jdk 1.8、mysql 5.7、hadoop 3.1.3和hive 3.1.2。文章讨论了YARN的配置优化，如`yarn.nodemanager.resource.memory-mb`、`yarn.nodemanager.vmem-check-enabled`和`hive.map.aggr`等参数，以及Map-Side聚合优化、Map Join和Bucket Map Join。
月亮给我抄代码
192 0
月亮给我抄代码
|
3月前
|
SQL 分布式计算 Java
Spark 为什么比 Hive 快
Spark与Hive在数据处理上有显著区别。Spark以其内存计算和线程级并行提供更快的速度，但稳定性受内存限制。相比之下，Hive虽较慢，因使用MapReduce，其稳定性更高，对内存需求较小。在Shuffle方式上，Spark的内存 Shuffle 比Hive的磁盘 Shuffle 更高效。综上，Spark在处理速度和Shuffle上占优，Hive则在稳定性和资源管理上更胜一筹。
月亮给我抄代码
63 0

热门文章

最新文章

  • 1
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 2
    8月28日社区直播【Spark Streaming SQL流式处理简介】
  • 3
    Spark Core概念学习系列之Spark Core（十四）
  • 4
    9.24直播预告｜DLA Serverless Spark技术解析-让您的Spark弹起来
  • 5
    附录A Spark2.1核心工具类Utils
  • 6
    Spark-理解RDD
  • 7
    Spark-神奇的共享变量
  • 8
    Spark-ML-01-小试spark分析离线商品信息
  • 9
    Spark shuffle详细过程
  • 10
    跟我一起数据挖掘（22）——spark入门
  • 1
    DataWorks操作报错合集之DataWorks连接Hive数据库时出现连接超时的问题如何解决
    59
  • 2
    基于Hadoop数据仓库Hive1.2部署及使用
    48
  • 3
    Hive的安装
    36
  • 4
    【Hive】所有的Hive任务都会有MapReduce的执行吗？
    182
  • 5
    【Hive】Hive的函数：UDF、UDAF、UDTF的区别？
    85
  • 6
    【Hive】Hive有哪些方式保存元数据，各有哪些特点？
    293
  • 7
    【Hive】写出Hive中split、coalesce及collect_list函数的用法？
    425
  • 8
    【Hive】请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思？
    234
  • 9
    【Hive】请谈一下Hive的特点，Hive和RDBMS有什么异同？
    174
  • 10
    【Hive】Hive的两张表关联，使用MapReduce怎么实现？
    166

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门
  • 大数据Hive教程精讲

    • 相关电子书

    更多
  • Comparison of Spark SQL with Hive
  • Hive Bucketing in Apache Spark
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • 5分钟上手Flink MySQL连接器
    • 下一篇
    通义千问API入门教程