spark怎么分析hbase的数据?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

spark怎么分析hbase的数据?

健东 2018-11-16 09:55:23 1160

spark怎么分析hbase的数据?

spa数据 par分析 sed数据 spa分析 base分析
分享到
取消 提交回答
全部回答(1)
  • hiekay
    2019-07-17 23:14:54

     云HBase团队为大家提供了一个github项目供大家参考使用上面的三种方式来开发Spark分析HBase的程序,项目地址; https://github.com/lw309637554/alicloud-hbase-spark-examples?spm=a2c4e.11153940.blogcont573569.14.320377b4U14MDa

    依赖项:需要下载云HBase及云Phoenix的client包
    分析HFILE:

    需要先开通云HBase的HDFS访问权限,参考文档
    在hbase shell中对表生成snapshot表“snapshot 'sourceTable', ‘snapshotName'”
    在项目中配置自己的hdfs-sit.xml文件,然后通过直读HDFS的方式分析snapshot表
    具体的example

    RDD API对应:org.apache.spark.hbase.NativeRDDAnalyze
    SQL API对应:org.apache.spark.sql.execution.datasources.hbase.SqlAnalyze
    分析HFILE对应:org.apache.spark.hfile.SparkAnalyzeHFILE

    0 0
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

相似问题
最新问题