在 spark-env.sh中 添加:
export HIVE_CONF_DIR=/usr/hdp/2.2.8.0-3150/hive/conf
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/hdp/2.2.8.0-3150/hive/lib/mysql-connector-java.jar
本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/1765277，如需转载请自行联系原作者
spark集成hive
2017-11-23
1282
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
3月前
|
SQL
缓存
关系型数据库
ClickHouse(19)ClickHouse集成Hive表引擎详细解析
Hive引擎允许对HDFS Hive表执行 `SELECT` 查询。目前它支持如下输入格式:
-文本:只支持简单的标量列类型，除了 `Binary`
- ORC:支持简单的标量列类型，除了`char`; 只支持 `array` 这样的复杂类型
- Parquet:支持所有简单标量列类型;只支持 `array` 这样的复杂类型
149
1
1
|
3月前
|
SQL
分布式计算
HIVE
实时计算 Flink版产品使用问题之同步到Hudi的数据是否可以被Hive或Spark直接读取
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架，广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器，提供了一套全面的解决方案，以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点，使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
257
3
3
|
3月前
|
SQL
分布式计算
NoSQL
|
4月前
|
SQL
分布式计算
关系型数据库
使用 Spark 抽取 MySQL 数据到 Hive 时某列字段值出现异常（字段错位）
在 MySQL 的 `order_info` 表中，包含 `order_id` 等5个字段，主要存储订单信息。执行按 `create_time` 降序的查询，显示了部分结果。在 Hive 中复制此表结构时，所有字段除 `order_id` 外设为 `string` 类型，并添加了 `etl_date` 分区字段。然而，由于使用逗号作为字段分隔符，当 `address` 字段含逗号时，数据写入 Hive 出现错位，导致 `create_time` 值变为中文字符串。问题解决方法包括更换字段分隔符或使用 Hive 默认分隔符 `\u0001`。此案例提醒在建表时需谨慎选择字段分隔符。
64
6
6
|
4月前
|
SQL
分布式计算
Java
Spark 为什么比 Hive 快
Spark与Hive在数据处理上有显著区别。Spark以其内存计算和线程级并行提供更快的速度，但稳定性受内存限制。相比之下，Hive虽较慢，因使用MapReduce，其稳定性更高，对内存需求较小。在Shuffle方式上，Spark的内存 Shuffle 比Hive的磁盘 Shuffle 更高效。综上，Spark在处理速度和Shuffle上占优，Hive则在稳定性和资源管理上更胜一筹。
97
0
0
|
4月前
|
SQL
分布式计算
大数据
Paimon 与 Spark 的集成（二）：查询优化
通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。
118088
30
32
|
4月前
|
SQL
分布式计算
大数据
|
SQL
分布式计算
HIVE
spark集成hbase与hive数据转换与代码练习
帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。
1 import java.util.Date
2
3 import org.apache.hadoop.
1244
0
0
|
2月前
|
机器学习/深度学习
分布式计算
算法
Spark快速大数据分析PDF下载读书分享推荐
《Spark快速大数据分析》适合初学者，聚焦Spark实用技巧，同时深入核心概念。作者团队来自Databricks，书中详述Spark 3.0新特性，结合机器学习展示大数据分析。Spark是大数据分析的首选工具，本书助你驾驭这一利器。[PDF下载链接][1]。
![Spark Book Cover][2]
[1]: https://zhangfeidezhu.com/?p=345
[2]: https://i-blog.csdnimg.cn/direct/6b851489ad1944548602766ea9d62136.png#pic_center
110
1
1
|
1月前
|
分布式计算
资源调度
大数据
【决战大数据之巅】：Spark Standalone VS YARN —— 揭秘两大部署模式的恩怨情仇与终极对决！
【8月更文挑战第7天】随着大数据需求的增长，Apache Spark 成为关键框架。本文对比了常见的 Spark Standalone 与 YARN 部署模式。Standalone 作为自带的轻量级集群管理服务，易于设置，适用于小规模或独立部署；而 YARN 作为 Hadoop 的资源管理系统，支持资源的统一管理和调度，更适合大规模生产环境及多框架集成。我们将通过示例代码展示如何在这两种模式下运行 Spark 应用程序。
127
3
3
热门文章
最新文章
1
图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
2
Spark-理解RDD
3
Spark Core概念学习系列之Spark Core（十四）
4
附录A Spark2.1核心工具类Utils
5
Spark-ML-01-小试spark分析离线商品信息
6
Spark shuffle详细过程
7
Spark-神奇的共享变量
8
spark集群配置
9
跟我一起数据挖掘（22）——spark入门
10
重磅解读：基于Occlum和BigDL构建端到端的安全分布式Spark大数据分析方案
1
DataWorks操作报错合集之DataWorks连接Hive数据库时出现连接超时的问题如何解决
72
2
[AIGC 大数据基础]hive浅谈
58
3
基于Hadoop数据仓库Hive1.2部署及使用
57
4
Hive的安装
42
5
【Hive】所有的Hive任务都会有MapReduce的执行吗？
247
6
【Hive】Hive的函数：UDF、UDAF、UDTF的区别？
110
7
【Hive】Hive有哪些方式保存元数据，各有哪些特点？
408
8
【Hive】写出Hive中split、coalesce及collect_list函数的用法？
728
9
【Hive】请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思？
347
10
【Hive】请谈一下Hive的特点，Hive和RDBMS有什么异同？
236