hbase的增删改增量导入到hive-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

hbase的增删改增量导入到hive

怎么将一天内的所有操作记录导出来,merge到hive中,hive和hbase不是在一个hadoop环境。

展开
收起
hbase小能手 2018-11-08 11:24:08 2435 0
2 条回答
写回答
取消 提交回答
  • colspan_js

    如果只是增量和更新量的话,可以通过HBase的Client客户算 scan.setTimeRange(begin,end)设置扫表的时间戳来扫描表,当然
    更具体的设置可以根据自己需求,然后拿到所需要的增量表内容导入hive

    另外,通过spark 直连hbase 的方式的方式没有尝试过,不知道能不能走通 ,确定增量数据

    2019-07-17 23:12:55
    赞同 展开评论 打赏
  • hbase小能手
    HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。阿里云HBase技术团队共同探讨HBase及其生态的问题。

    通过将HBase的数据转成RDD存入Hive~

    2019-07-17 23:12:55
    赞同 展开评论 打赏
问答排行榜
最热
最新
相关电子书
更多
玩转HBase和Lindorm 大数据入门和实战
立即下载
《玩转HBase和Lindorm大数据入门和实战》
立即下载
云数据库HBase企业级安全解析
立即下载