如何在 MR/Spark 作业中指定 OSS 数据源文件路径
如何在 MR/Spark 作业中指定 OSS 数据源文件路径
展开
收起
1
条回答
写回答
写回答
-
如下：OSS URL： oss://[accessKeyId:accessKeySecret@]bucket[.endpoint]/object/path
用户在作业中指定输入输出数据源时使用这种 URI，可以类比 hdfs://。 用户操作 OSS 数据时：
（建议）EMR 提供了 MetaService 服务，支持免 AK 访问 OSS 数据，直接写oss://bucket/object/path。
（不建议）可以将 AccessKeyId，AccessKeySecret 以及 endpoint 配置到Configuration（Spark 作业是 SparkConf，MR 类作业是 Configuration）中，也可以在 URI中直接指定 AccessKeyId，AccessKeySecret 以及 endpoint。具体请参考开发准备一节。2019-07-17 23:34:20赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
相关课程
更多
推荐问答
相关电子书
更多
