1
条回答
写回答
写回答
-
研究spark/hive/hbase相关技术hbase集群间迁移有几种方式：
- copytable
利用MapReduce进行同步，利用MR去scan 原表的数据，然后把scan出来的数据写入到目标集群的表。这种方式也有很多局限，如一个表数据量达到T级，同时又在读写的情况下，全量scan表会对集群性能造成影响。 - Export/Import方式
将HBase表数据转换成Sequence File并dump到HDFS，也涉及Scan表数据，与CopyTable相比，还多支持不同版本数据的拷贝，同时它拷贝时不是将HBase数据直接Put到目标集群表，而是先转换成文件，把文件同步到目标集群后再通过Import到线上表。 - Snapshot方式
在原集群上创建快照，使用ExportSnapshot命令进行数据迁移，ExportSnapshot也是HDFS层的操作，本质还是利用MR进行迁移，这个过程主要涉及IO操作并消耗网络带宽。
详细参考：https://www.cnblogs.com/ballwql/p/hbase_data_transfer.html
如果迁移上阿里云HBase可参考：https://help.aliyun.com/document_detail/57695.html?spm=a2c4g.11186623.6.581.40d45ef0sv34tp
支持一键迁移上云。2019-07-17 23:15:03赞同 展开评论 打赏 - copytable
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
