开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 正文

fs.oss.impl配的是这个是不是就无法使用阿里云E-MapReduce的JindoSDK?

我想问下core-site里的fs.oss.impl配的是org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem是不是就无法使用阿里云E-MapReduce的JindoSDK?因为我们集群已经配了oss的一些配置,不好贸然动。

展开
收起
三分钟热度的鱼 2023-07-04 14:38:13 93 0
2 条回答
写回答
取消 提交回答
  • 是的,如果您在 core-site.xml 中将 fs.oss.impl 配置为 org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem,那么就无法使用阿里云 E-MapReduce 的 Jindo SDK。

    Jindo SDK 是阿里云 E-MapReduce 专门为集成阿里云对象存储服务 OSS(Alibaba Cloud Object Storage Service)而定制的 SDK。它提供了更高效和优化的数据导入、导出等功能。

    然而,Jindo SDK 和 AliyunOSSFileSystem 使用不同的实现方式,因此它们不能同时使用。当您将 fs.oss.impl 配置为 AliyunOSSFileSystem 后,E-MapReduce 将使用默认的 Hadoop OSS 文件系统实现,而无法直接使用 Jindo SDK 提供的优化功能。

    如果您希望使用阿里云 E-MapReduce 的 Jindo SDK,您需要将 core-site.xml 中的 fs.oss.impl 配置恢复为默认值或者删除该配置项,以便让 E-MapReduce 正确加载 Jindo SDK 所需的文件系统实现。

    2023-07-31 15:52:36
    赞同 展开评论 打赏
  • 是的,需要把fs.oss.impl改掉。此回答整理自钉群“JindoData 用户交流群”

    2023-07-04 20:30:20
    赞同 展开评论 打赏

阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。

相关电子书

更多
阿里云云原生 Serverless 技术实践营 PPT 演讲 立即下载
阿里云产品十月刊 立即下载
基于阿里云构建博学谷平台实时湖仓 立即下载