如何在 MR/Spark 作业中指定 OSS 数据源文件路径-问答-阿里云开发者社区-阿里云

开发者社区> 开源大数据EMR> 正文

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

2019-04-26 15:35:29 2190 1

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

取消 提交回答
全部回答(1)
  • 开源大数据EMR
    2019-07-17 23:34:20

    如下:OSS URL: oss://[accessKeyId:accessKeySecret@]bucket[.endpoint]/object/path

    用户在作业中指定输入输出数据源时使用这种 URI,可以类比 hdfs://。 用户操作 OSS 数据时:
    (建议)EMR 提供了 MetaService 服务,支持免 AK 访问 OSS 数据,直接写oss://bucket/object/path。
    (不建议)可以将 AccessKeyId,AccessKeySecret 以及 endpoint 配置到Configuration(Spark 作业是 SparkConf,MR 类作业是 Configuration)中,也可以在 URI中直接指定 AccessKeyId,AccessKeySecret 以及 endpoint。具体请参考开发准备一节

    0 0
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123687浏览量 回答数 4

45

回答

★★CT团队出品:Ftp4oss阿里云OSS最好用的FTP云工具、客户端和文件同步工具

ftp4oss 2013-08-30 19:47:43 88644浏览量 回答数 45

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120232浏览量 回答数 10

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292267浏览量 回答数 110

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118454浏览量 回答数 5

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 149358浏览量 回答数 82

88

回答

手把手教你搭建自己的OSS FTP 服务器

lei.zhuol 2012-05-16 14:48:33 89510浏览量 回答数 88

8

回答

全线HTTPS 阿里云OSS一键签发绑定免费SSL证书图文教程

51干警网 2018-08-16 13:44:36 84507浏览量 回答数 8

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471372浏览量 回答数 24

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 203997浏览量 回答数 2
282
文章
74
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载