阿里云E-MapReduce的jindodata写数据到oss，是单线程还是多线程阿？
阿里云E-MapReduce的jindodata写数据到oss，是单线程还是多线程阿？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
网站：http://ixiancheng.cn/ 微信订阅号：小马哥学JAVA
多线程或者说单线程的选项，正常的情况是由于服务器不足的情况下才会考虑的；
参考文档：https://help.aliyun.com/zh/oss/user-guide/migrate-data-across-multiple-buckets-in-oss-hdfs
阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝。Jindo DistCp全量支持HDFS之间、HDFS与OSS之间、HDFS与OSS-HDFS之间以及OSS-HDFS之间数据拷贝场景，提供多种个性化拷贝参数和多种拷贝策略。如果服务器较多的话，并发进行请求即可，进行集群的方式进行拷贝处理；
Jindo DistCp使用说明：
https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/use-jindo-distcp-7?spm=a2c4g.11186623.0.i3#task-2526637
2024-01-17 16:02:30赞同 展开评论
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。