开发者学堂课程【数据湖 JindoFS + OSS 实操干货36讲：高效迁移 HDFS 海量文件到 OSS】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/833/detail/13961
高效迁移 HDFS 海量文件到 OSS
内容介绍
一、DistCp 介绍
二、Jindo DistCp 介绍
三、性能优化
四、功能演示
一、DistCp 介绍
1.DistCp 的概念
DistCp (分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce 实现文件分发，错误处理和恢复，以及报告生成。
它把文件和目录的列表作为 map 任务的输入，每个任务会完成源列表中部分文件的拷贝。
2.DistCp 工具种类
二、Jindo DistCp 介绍
1.Jindo DistCp 介绍
➢分布式文件拷贝工具，基于 MapReduce
➢支持多种数据源(HDFS/ OSS/ S3/ COS 等)
➢多种拷贝策略，功能对齐开源 Hadoop DistCp 及 S3 DistCp 等
➢深度结合 OSS,基于 native 实现的 JindoFS SDK
➢优化 JobCommitter,性能领先开源工具
2.现有 HDFS 海量文件同步到 OSS 问题
➢文件数量规模大，百/千万级，开源 DistCp 超时/OOM等
➢HDFS 拷贝到 OSS,效率较慢，Rename耗时
➢现有开源工具无法保证数据拷贝一致性
➢不支持传输时进行归档/冷存储等 OSS 特性
3.Jindo DistCp基于HDFS海量文件同步到 OSS 场景优化
➢分批 Batch,避免文件数过多/文件 size 过 大，造成超时/OOM
➢定制化 CopyCommitter,实现 No Rename 拷贝，并保证数据拷贝落地的-致性
➢大/小文件传输策略优化
➢基于 native 实现的 JindoFS SDK,优化读写 OSS 性能
三、性能优化：CopyCommitter - NoRename 拷贝
1.MapReduce JobCommitter
2.Jindo CopyCommitter
基于对象存储系统的Multipart Upload,结合OSS文件系统层面的定制支持，可以实现在保证数据-致性前提下无需Rename操作的Job Committer实现。
3.性能测试
Jindo DistCp 和 Hadoop DistCp 的性能对比，在这个测试中以 HDFS 到 OSS离线数据迁移为主要场景，利用Hadoop自带的测试数据 TestDFSIO 分别生成1000个10M、1000个500M、 1000个1G 大小的文件进行从HDFS拷贝数据到OSS上的测试过程。
4.访问链接：
httos://qithub.com/aliyun/alibabacloud-jindofs/blob/master/docs/indo distcp/indo distcp overview.md
四、功能演示
1.下载j indo-distcp-3.5.0.jar
2.将 jar 包拷贝到可提交 YARN 作业的节点上
3.选择 src 和 dest 路径及合适的参数
hadoop jar jindo-distcp-3.5.0.jar - -src /data --dest ss://yang-ha/data --parallelism 10
4.执行命令
5.查看进度(命令行 WebUI)
