hbase的增删改增量导入到hive-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

hbase的增删改增量导入到hive

hbase小能手 2018-11-08 11:24:08 1526

怎么将一天内的所有操作记录导出来,merge到hive中,hive和hbase不是在一个hadoop环境。

SQL 分布式计算 Hadoop 分布式数据库 HIVE Hbase
分享到
取消 提交回答
全部回答(2)
  • colspan_js
    2019-07-17 23:12:55

    如果只是增量和更新量的话,可以通过HBase的Client客户算 scan.setTimeRange(begin,end)设置扫表的时间戳来扫描表,当然
    更具体的设置可以根据自己需求,然后拿到所需要的增量表内容导入hive

    另外,通过spark 直连hbase 的方式的方式没有尝试过,不知道能不能走通 ,确定增量数据

    0 0
  • hbase小能手
    2019-07-17 23:12:55

    通过将HBase的数据转成RDD存入Hive~

    0 0
添加回答
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题
推荐课程