《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP（1） https://developer.aliyun.com/article/1226639?groupCode=ClouderaCDP
二、 HBase 迁移概览
1. 推荐的 HBase 迁移方案
将数据迁移到 CDP Private Cloud Base 部署时，必须使用 Apache HBase 复制和快照功能。
T0：设置 A 集群到 B 集群的 Replication，记录增量数据。
T1：A 集群生成快照，导出快照，获得 T1 时刻的全量数据。
T2：B 集群导入 T1 的全量快照，同时 T0 的 Replication 增量数据开始自动同步。
T3：Replication 增量数据逐渐消费完，业务面暂停写入。
T4：Replication 数据完全消费完，业务切换到 B 集群。
• 使用快照一次性导出/ExportSnapshot 到目的地/CloneSnapshot。
• 持续迁移：一次性方法+HBase Replication 设置。
2. 数据迁移先决条件
• 如果从 CDH 迁移，请在目标 CDP 集群中配置与现有 CDH 集群中的 HBase ACL对应的 Ranger ACL。
• 如果从 HDP 迁移，请在目标 CDP 集群中配置与现有 HDP 集群中的 HBase ACL或Ranger ACL 对应的 Ranger ACL。
• 迁移应用程序以使用新的 HBase-Spark Connector，因为 CDP 不再支持在 CDH或HDP 中使用的 Spark-HBase Connector。
• 查看从 HDP 2.x 或 CDH 5.x 升级到 CDP 时不推荐使用的 API 和不兼容（CDH6/HDP3 基本上没问题）。
• 确保升级前所有数据都迁移到支持的数据块编码类型。
• 确保手动升级任何外部的或第三方的协处理器，因为在升级期间它们不会自动升级。
3. HBase 数据迁移步骤
在迁移数据之前，必须在 CDP PvC Base 上创建一个 Apache HBase 集群。CDH 或HDP 集群是源集群，CDP PvC Base 集群是目标集群。
1) 在源集群和目标集群上部署 HBase Replication。
2) 通过对要在 HBase Shell 中复制的每个表运行以下命令，在源集群和目标集群上启用复制：
• 在源集群上
create 't1',{NAME=>'f1', REPLICATION_SCOPE=>1}
• 在目标集群上
create 't1',{NAME=>'f1', KEEP_DELETED_CELLS=>'true'}
注：建议在目标集群中的列族上启用 KEEP_DELETED_CELLS，其中源集群中的REPLICATION_SCOPE=1。
3) 在源集群的 HBase Shell 中运行 add_peer 命令，将目标集群添加为 peer：
add_peer 'ID', 'DESTINATION_CLUSTER_KEY'
注：可以从 Cloudera Manager（CM）访问的 HBase Master 用户界面获取
DESTINATION_CLUSTER_KEY 值。
4) 在源集群的 HBase Shell 中运行 disable_peer（“”）命令来禁用源集群中的 peer：
disable_peer("ID1")
5) 在 Cloudera Manager 中拍摄快照（UI/BDR/Hbase shell 命令行）。
6) 在源集群的 HBase Shell 中运行 ExportSnapshot 命令，将源集群的快照导出到
目标集群，必须以 HBase 用户或拥有文件的用户身份运行 ExportSnapshot 命令：
hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot
-copy-to hdfs://destination:hdfs_port/hbase -
mappers 16
注：必须在源集群和目标集群上启用快照。导出快照时，表的 HFile、日志和快照元
数据将从源集群复制到目标集群。
7) 在源集群的 HBase Shell 中运行 enable_peer（“”）以启用源集群和目标集群中的 peer：
enable_peer("ID1")
8) 在目标集群恢复快照：
restore_snapshot 'student_snapshot’
9) 后续增量数据会自动利用 replication 功能同步到目标集群中。
10) 数据同步完成后，需要将源端的 peer 给 disable 掉，这时数据就不再继续同步：
disable_peer("ID1")
4. HBase 数据迁移步骤（少量数据）
在源集群上运行 HashTable 命令，在目标集群上运行 SyncTable 命令，以验证表数据在源集群和目标集群之间是否同步：
• 在源集群上
HashTable [options]
• 在目标集群上
SyncTable [options]
《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP（3） https://developer.aliyun.com/article/1226634?groupCode=ClouderaCDP
