阿里云E-MapReduce Jindodistcp任务启动以后，会被同步到oss么?

在使用阿里云E-MapReduce的JindoDistCp工具进行数据迁移时，如果在迁移任务执行期间HDFS源端新增了文件块，这些新增文件块是否会被同步到OSS，取决于您是否启用了增量同步功能（--update 参数）。

默认行为

默认情况下，JindoDistCp任务不会自动检测和同步迁移过程中HDFS源端新增的文件块。也就是说，如果您未指定 --update 参数，JindoDistCp只会按照任务启动时扫描到的文件列表进行迁移，而不会动态感知迁移期间新增的文件或文件块。

增量同步功能

如果您希望在迁移任务中包含HDFS源端新增的文件块，可以在启动JindoDistCp任务时添加 --update 参数。该参数的作用是： - 跳过完全相同的文件和目录：只复制源端新增或发生改变的文件和目录。 - 支持断点续传：如果任务因某些原因失败，重新运行时可以只复制未成功迁移的文件。

示例命令

以下是一个启用增量同步功能的示例命令：

hadoop jar jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --update

通过上述命令，JindoDistCp会在任务执行期间动态检测源端新增的文件块，并将其同步到目标OSS路径。

注意事项

1. 版本要求：--update 参数需要 JindoData 4.3.0 及以上版本支持，请确保您的环境满足版本要求。
2. 性能影响：启用增量同步功能可能会增加任务的复杂性和执行时间，因为需要额外的元数据对比操作。
3. 任务中断处理：如果任务中途失败，建议在重新启动时继续使用 --update 参数，以避免重复迁移已成功处理的文件。

总结

• 如果未启用 --update 参数，HDFS源端新增的文件块不会被同步到OSS。
• 如果启用了 --update 参数，JindoDistCp会动态检测并同步新增的文件块，确保源端和目标端的数据一致性。

因此，为了实现HDFS新增文件块的同步，请务必在启动JindoDistCp任务时添加 --update 参数。