《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(2) https://developer.aliyun.com/article/1226637?groupCode=ClouderaCDP
三、 HBase 迁移演示
从 CDH 的 HBase 迁移数据到 CDP 的 HBase 中。演示源和目标都启用了 Kerberos
的安全集群中。
测试环境:
• 源集群 CDH6,启用 Kerberos
• 目标集群 CDP7.1.6,启用 Kerberos
1. 配置两个集群的互信
1) 分别在两个集群 krb5.conf 中添加 realms。
源集群:CDH.COM;目标集群:GROCERY.COM
2) 为两个 KDC 创建相同的 krbtgt 用户和密码。
3) 互信验证,两个集群都能正常访问表示互相配置成功。
4) 在 CM 界面>Administration>配置>搜索 domain>添加 Domain Name(s)。
5) 在 CM 界面>Cluster>HDFS>配置>搜索 Kerberos>添加受信任的 Kerberos 域。
6) 重启配置生效。
2. 在源端和目标端启用 Replication
3. 在 Ranger 中进行授权
• HDFS 权限:给分配做数据同步的用户对/user 目录的读写和执行权限;对复制用户 etl_user 对/hbase 目录的读写和执行权限。
在 HDFS 中,默认没有启用 Ranger 的权限管理功能,需要去启用该功能,否则Ranger 的配置将无法生效。
HBase 表权限:给分配做数据同步的用户对 HBase 表的权限,赋予所有读、写、创建、执行、管理的权限.
4. 模拟操作
1) 在源端创建表,表中有 2 条记录。
2) 源端启用 Replication。
3) 在目标端创建和源端同样的表,同时启用KEEP_DELETED_CELLS=>'true'参数来启用复制。
4) 在源集群的 HBase Shell 中运行 add_peer 命令,将目标集群添加为 peer,然后进行 disable。
5) 在源端创建并查看快照。
也可以在 CM 中做快照。
6) 在源集群的 HBase Shell 中运行 ExportSnapshot 命令,将快照从源端导出到目标端。
7) 启用源集群和目标集群中的 peer。
8) 在目标端 disable 掉表,进行数据恢复;然后将表 enable,查看表数据。
9) 在源端模拟增加数据,在目标端可以看到数据会持续同步过来。