开发者社区> saxon_i> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Hbase增量导入导出

简介: Cluster-A导出: hbase --config /tmp/hbase-client-conf org.apache.hadoop.hbase.mapreduce.
+关注继续查看

Cluster-A导出:

hbase --config /tmp/hbase-client-conf org.apache.hadoop.hbase.mapreduce.Export safeclound.tb_ammeter /backup/tb_ammeter 1 1531843200000 1532016000000

Cluster-B导入:

hbase org.apache.hadoop.hbase.mapreduce.Import safeclound.tb_ammeter /tmp/hbase-root/backup/tb_ammeter

注意:

1. 前提条件,两个集群一定都要开启yarn资源调度服务,实际上都是通过MR任务export/import的;

2. 其中--config /tmp/hbase-client-conf参数表示可以临时指定hbase配置文件,默认可无需显示指定,因本人是使用的阿里云的EMR3.2(客户端配置存在bug),若不加--config直接使用配置将会报

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory 的错误,EMR3.2错误解决请参考  阿里EMR3.2 hbase/phoenix配置BUG

参考文献1

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Hbase 数据迁移闭坑指南
Hbase 数据迁移闭坑指南
0 0
【HBase】(八)往 HBase 导入数据的几种操作
【HBase】(八)往 HBase 导入数据的几种操作
0 0
使用datax迁移cassandra数据
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现各种异构数据源之间高效的数据同步功能。最近,阿里云cassandra团队为datax提供了cassandra读写插件,进一步丰富了datax支持的数据源,可以很方便实现cassandra之间以及cassandra与其他数据源之间的数据同步。
5277 0
hive数据导入云hbase
网络环境 专线:用户需要把hbase集群的VPC相关网络信息配置到专线里面,可直通hbase环境 公有云虚拟机VPC环境:选择和hbase通VPC 其他:需要开hbase公网 注意:默认导入hbase数据,依赖的hbase-common、hbase-client、hbase-server、hbase-protocol使用社区的包即可。
4296 0
HBase存储剖析与数据迁移
1.概述   HBase的存储结构和关系型数据库不一样,HBase面向半结构化数据进行存储。所以,对于结构化的SQL语言查询,HBase自身并没有接口支持。在大数据应用中,虽然也有SQL查询引擎可以查询HBase,比如Phoenix、Drill这类。
1210 0
HBase数据导入工具总结
本文对HBase常用的数据导入工具进行介绍,并结合云HBase常见的导入场景,给出建议的迁移工具和参考资料。 HBase之间数据导入常用工具 HBase提供了几种数据迁移工具,其中基于API调用的有CopyTable,Export&Import。
3794 0
使用CopyTable同步HBase数据
CopyTable是Hbase提供的一个数据同步工具,可以用于同步表的部分或全部数据。本文介绍如何使用CopyTable同步HBase数据。针对没有hadoop集群的用户,还介绍了单机运行CopyTable的配置和参数。
7409 0
ETL数据导入/导出工具 HData(支持JDBC、Hive、HDFS、HBase、Kafka等)
HData是一个异构的ETL数据导入/导出工具,致力于使用一个工具解决不同数据源(JDBC、Hive、HDFS、HBase、MongoDB、FTP、Http、CSV、Excel、Kafka等)之间数据交换的问题。
1662 0
关于hive数据导入方式的总结
从本地导入数据到hive: load data local inpath '/home/hive/tb_dw_cu_three_type_list_dtal/*.dat' overwrite into table csap.tb_dw_cu_three_type_list_dtal  partition(statis_date=20160121); 从HDFS直接导入数据到hive:
1744 0
+关注
saxon_i
专注系统架构、底层操作,以解决现实问题为目的(一切不能解决实际问题架构,哪怕它再优雅也是耍liu mang),顺便做点笔记,拿来即用,省下来的时间做点自己喜欢有意义的事儿!
文章
问答
文章排行榜
最热
最新
相关电子书
更多
HBase在时间序列数据库中的应用
立即下载
HBase 数据备份与恢复
立即下载
HBase中Coprocessor的介绍以及实际业务场景中的使用
立即下载