hbase的增删改增量导入到hive-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

hbase的增删改增量导入到hive

2018-11-08 11:24:08 1959 2

怎么将一天内的所有操作记录导出来,merge到hive中,hive和hbase不是在一个hadoop环境。

取消 提交回答
全部回答(2)
  • colspan_js
    2019-07-17 23:12:55

    如果只是增量和更新量的话,可以通过HBase的Client客户算 scan.setTimeRange(begin,end)设置扫表的时间戳来扫描表,当然
    更具体的设置可以根据自己需求,然后拿到所需要的增量表内容导入hive

    另外,通过spark 直连hbase 的方式的方式没有尝试过,不知道能不能走通 ,确定增量数据

    0 0
  • hbase小能手
    2019-07-17 23:12:55

    通过将HBase的数据转成RDD存入Hive~

    0 0
添加回答
相关问答

3

回答

请教一个范围查询的问题

小文文文 2019-06-14 14:37:01 115316浏览量 回答数 3

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 127129浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120800浏览量 回答数 10

17

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 1038263浏览量 回答数 17

1

回答

通过spark-thriftserver读取hive表执行sql时,tasks 数量怎么设置

游客iwhrjhvjoyqts 2019-07-05 15:30:22 114132浏览量 回答数 1

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 142060浏览量 回答数 38

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118859浏览量 回答数 5

2

回答

mySQL数据库报错You have an error in your SQL syntax

落地花开啦 2016-02-14 16:09:24 128872浏览量 回答数 2

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 123966浏览量 回答数 8

3

回答

HBase mslab.chunksize和G1HeapRegionSize间是否有关系

yauso 2019-07-17 17:14:06 114794浏览量 回答数 3
+关注
hbase小能手
HBase是一个分布式的、面向列的开源数据库,一个结构化数据的分布式存储系统。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。阿里云HBase技术团队共同探讨HBase及其生态的问题。
112
文章
338
问答
问答排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载