HDFS 迁移到 CDP

一、 HDFS 迁移方案介绍

1. HDFS 迁移常见工具

在进行 HDFS 迁移时，第一个使用比较广泛的工具是 Hadoop 自带的迁移工具

DistCP；第二个是经过加工封装和功能增强的 Cloudera Replication Manager。

2. 工具功能比较

从六个维度对这两个工具进行比较：

• 使用方式

DistCP 主要是通过命令行执行命令的方式去执行，Replication Manager 主要是通过 CM 界面配置简单操作的方式提供给用户。

• 安全支持

DistCP 主要支持非 Kerberos 集群间、非 Kerberos 集群到 Kerberos 集群、Kerberos集群到 Kerberos 集群的迁移。而 Replication Manager 也同样支持。

• 监控

DistCP 是通过命令行报告，Replication Manager 通过双方提供完整的监控和运行报告，同时可以查看历史的报告记录。

• 增量和全量支持

DistCP 和 Replication Manager 都支持，主要是利用快照比较增量。

• 周期性运行

DistCP 主要是一次性执行，通过调度器来执行周期性的调度策略。Replication

Manager 可以在界面上提供立即执行、一次执行和周期性执行的调度策略。对所有的执行策略都提供对应的执行日志和执行过程，可以更好的去监控。

• 适用范围

DistCP 适用范围比较广，适用于所有的 Hadoop 集群、CDH、HDP、Hadoop、CDP，以及 HDFS 的数据迁移。Replication Manager 主要支持 CDH 到 CDH、CDH 到 CDP以及 CDP 到 CDP 的数据迁移，要使用 Replication Manager 需要 Cloudera 许可证。

《CDP企业数据云平台从入门到实践》——HDFS 迁移到 CDP（2） https://developer.aliyun.com/article/1227813?groupCode=ClouderaCDP