开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

阿里云E-MapReduce中,想用jindo-distcp实现hdfs到oss数据同步?

阿里云E-MapReduce中,想用jindo-distcp实现hdfs到oss数据同步,现在oss数据由于变为归档类型的了,有60天不得删除的限制,所以同步的时候,想让变更的hdfs数据到另外的oss目录去,原来的oss目录下数据能保持不动,该如何实现呢?

展开
收起
cuicuicuic 2024-01-09 12:38:09 83 0
1 条回答
写回答
取消 提交回答
  • 可以实现从 HDFS 到 OSS 的全量数据同步,即能够完整地复制源目录下的所有文件及其元数据到目标OSS存储中。Jindo DistCp 是阿里云针对OSS优化的分布式数据迁移工具,能够高效、稳定地在Hadoop和OSS之间进行大数据文件迁移。

    2024-01-09 12:44:45
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关产品

  • 开源大数据平台 E-MapReduce
  • 相关电子书

    更多
    OSS运维进阶实战手册 立即下载
    《OSS运维基础实战手册》 立即下载
    OSS运维基础实战手册 立即下载