spark怎么分析hbase的数据?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

spark怎么分析hbase的数据?

spark怎么分析hbase的数据?

展开
收起
健东 2018-11-16 09:55:23 1610 0
1 条回答
写回答
取消 提交回答
  • hiekay
    java 数据分析 数据可视化 大数据

     云HBase团队为大家提供了一个github项目供大家参考使用上面的三种方式来开发Spark分析HBase的程序,项目地址; https://github.com/lw309637554/alicloud-hbase-spark-examples?spm=a2c4e.11153940.blogcont573569.14.320377b4U14MDa

    依赖项:需要下载云HBase及云Phoenix的client包
    分析HFILE:

    需要先开通云HBase的HDFS访问权限,参考文档
    在hbase shell中对表生成snapshot表“snapshot 'sourceTable', ‘snapshotName'”
    在项目中配置自己的hdfs-sit.xml文件,然后通过直读HDFS的方式分析snapshot表
    具体的example

    RDD API对应:org.apache.spark.hbase.NativeRDDAnalyze
    SQL API对应:org.apache.spark.sql.execution.datasources.hbase.SqlAnalyze
    分析HFILE对应:org.apache.spark.hfile.SparkAnalyzeHFILE

    2019-07-17 23:14:54
    赞同 展开评论 打赏
问答排行榜
最热
最新
相关电子书
更多
spark替代HIVE实现ETL作业
立即下载
时序及分析在hbase上的使用
立即下载
云HBaseSQL及分析 ——Phoenix&Spark
立即下载