在 spark-env.sh中 添加:
export HIVE_CONF_DIR=/usr/hdp/2.2.8.0-3150/hive/conf
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/hdp/2.2.8.0-3150/hive/lib/mysql-connector-java.jar
本文转自 yntmdr 51CTO博客，原文链接：http://blog.51cto.com/yntmdr/1765277，如需转载请自行联系原作者
spark集成hive
2017-11-23
1255
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
2月前
|
SQL
分布式计算
DataWorks
DataWorks报错问题之集成hive数据源报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
33
0
0
|
4月前
|
分布式计算
API
Apache
|
2月前
|
SQL
分布式计算
大数据
Paimon 与 Spark 的集成（二）：查询优化
通过一系列优化，我们将 Paimon x Spark 在 TpcDS 上的性能提高了37+%，已基本和 Parquet x Spark 持平，本文对其中的关键优化点进行了详细介绍。
117512
30
32
|
2月前
|
SQL
分布式计算
Java
|
4月前
|
SQL
数据可视化
数据挖掘
|
4月前
|
存储
缓存
分布式计算
|
4月前
|
消息中间件
分布式计算
Kafka
|
4月前
|
存储
分布式计算
NoSQL
|
22天前
|
消息中间件
Java
Kafka
|
28天前
|
NoSQL
Java
Redis
热门文章
最新文章
1
SpringBoot集成Redis解决表单重复提交接口幂等（亲测可用）
2
SpringBoot集成Redis
3
《Solidity 简易速速上手小册》第9章：DApp 开发与 Solidity 集成（2024 最新版）（上）
4
如何进行有效的Apollo测试：单元测试和集成测试指南
5
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
6
PYTHON集成机器学习：用ADABOOST、决策树、逻辑回归集成模型分类和回归和网格搜索超参数优化
7
《Git 简易速速上手小册》第6章：Git 在持续集成/持续部署（CI/CD）中的应用（2024 最新版）
8
Springboot集成高低版本kafka
9
无缝集成：在IntelliJ IDEA中利用Kubernetes插件轻松管理容器化应用
10
【视频】Boosting集成学习原理与R语言提升回归树BRT预测短鳍鳗分布生态学实例-2
1
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
114
2
安装Spark
35
3
Spark学习---day07、Spark内核（Shuffle、任务执行）
42
4
Spark读取变更Hudi数据集Schema实现分析
39
5
实战|使用Spark Streaming写入Hudi
47
6
adb spark的lakehouse api访问内表数据，还支持算子下推吗
107
7
Spark学习---day06、Spark内核（源码提交流程、任务执行）
41
8
Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
67
9
Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
32
10
Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
59