我想问下core-site里的fs.oss.impl配的是org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem是不是就无法使用阿里云E-MapReduce的JindoSDK?因为我们集群已经配了oss的一些配置,不好贸然动。
是的,如果您在 core-site.xml
中将 fs.oss.impl
配置为 org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem
,那么就无法使用阿里云 E-MapReduce 的 Jindo SDK。
Jindo SDK 是阿里云 E-MapReduce 专门为集成阿里云对象存储服务 OSS(Alibaba Cloud Object Storage Service)而定制的 SDK。它提供了更高效和优化的数据导入、导出等功能。
然而,Jindo SDK 和 AliyunOSSFileSystem
使用不同的实现方式,因此它们不能同时使用。当您将 fs.oss.impl
配置为 AliyunOSSFileSystem
后,E-MapReduce 将使用默认的 Hadoop OSS 文件系统实现,而无法直接使用 Jindo SDK 提供的优化功能。
如果您希望使用阿里云 E-MapReduce 的 Jindo SDK,您需要将 core-site.xml
中的 fs.oss.impl
配置恢复为默认值或者删除该配置项,以便让 E-MapReduce 正确加载 Jindo SDK 所需的文件系统实现。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云EMR是云原生开源大数据平台,为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎,计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。