开发者社区> 问答> 正文

sparkSQL是如何读写hive表的?

sparkSQL是如何读写hive表的?

展开
收起
芯在这 2021-12-11 22:24:03 425 0
1 条回答
写回答
取消 提交回答
  • 1)方式一:是利用spark Rdd的API将数据写入hdfs形成hdfs文件,之后再将hdfs文件和hive表做加载映射。

    2)方式二:利用sparkSQL将获取的数据Rdd转换成dataFrame,再将dataFrame写成缓存表,最后利用sparkSQL直接插入hive表中。而对于利用sparkSQL写hive表官方有两种常见的API,第一种是利用JavaBean做映射,第二种是利用StructType创建Schema做映射

    2021-12-11 22:24:22
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Comparison of Spark SQL with Hive 立即下载
Hive Bucketing in Apache Spark 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载