两个不同hbase集群怎么同步数据?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

两个不同hbase集群怎么同步数据?

hbase小助手 2018-11-16 19:40:06 1742

请问,两个不同hbase集群之间如何进行数据同步?

分布式数据库 Hbase
分享到
取消 提交回答
全部回答(1)
  • 巴客
    2019-07-17 23:15:03

    hbase集群间迁移有几种方式:

    1. copytable
      利用MapReduce进行同步,利用MR去scan 原表的数据,然后把scan出来的数据写入到目标集群的表。这种方式也有很多局限,如一个表数据量达到T级,同时又在读写的情况下,全量scan表会对集群性能造成影响。
    2. Export/Import方式
      将HBase表数据转换成Sequence File并dump到HDFS,也涉及Scan表数据,与CopyTable相比,还多支持不同版本数据的拷贝,同时它拷贝时不是将HBase数据直接Put到目标集群表,而是先转换成文件,把文件同步到目标集群后再通过Import到线上表。
    3. Snapshot方式
      在原集群上创建快照,使用ExportSnapshot命令进行数据迁移,ExportSnapshot也是HDFS层的操作,本质还是利用MR进行迁移,这个过程主要涉及IO操作并消耗网络带宽。

    详细参考:https://www.cnblogs.com/ballwql/p/hbase_data_transfer.html

    如果迁移上阿里云HBase可参考:https://help.aliyun.com/document_detail/57695.html?spm=a2c4g.11186623.6.581.40d45ef0sv34tp
    支持一键迁移上云。

    0 0
数据库
使用钉钉扫一扫加入圈子
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题
推荐课程