开发者社区> 问答> 正文

请问一下 spark 可以直接读取hbase 数据嘛? 不通过 hive中间层

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。点击链接欢迎加入感兴趣的技术领域群。

展开
收起
珍宝珠 2019-09-23 16:07:30 1024 0
1 条回答
写回答
取消 提交回答
  • 目前从事大数据开发,兼顾平台搭建以及实时数据分析,主要是用scala编写程序,涉及社区开源hadoop集群,emr集群,欢迎有相同兴趣的小伙伴来交流,共同进步。最近在参与flink-java实时开发。

    可以会直接访问HBase表数据的,官方提供了hbase connector ,具体请看https://github.com/hortonworks-spark/shc 或者hbase官网

    -- 简介 The Apache Spark - Apache HBase Connector 是一个支持spark读取hbase表作为外部数据源或者sink的库。使用它,用户可以在 dataFrame/dataSet级别使用Spark-Sql操作HBase。

    2019-11-06 16:00:18
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Comparison of Spark SQL with Hive 立即下载
Hive Bucketing in Apache Spark 立即下载
2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践 立即下载

相关实验场景

更多