如何在 MR/Spark 作业中指定 OSS 数据源文件路径-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

2019-04-26 15:35:29 2564 1

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

取消 提交回答
全部回答(1)
  • 开源大数据EMR
    2019-07-17 23:34:20

    如下:OSS URL: oss://[accessKeyId:accessKeySecret@]bucket[.endpoint]/object/path

    用户在作业中指定输入输出数据源时使用这种 URI,可以类比 hdfs://。 用户操作 OSS 数据时:
    (建议)EMR 提供了 MetaService 服务,支持免 AK 访问 OSS 数据,直接写oss://bucket/object/path。
    (不建议)可以将 AccessKeyId,AccessKeySecret 以及 endpoint 配置到Configuration(Spark 作业是 SparkConf,MR 类作业是 Configuration)中,也可以在 URI中直接指定 AccessKeyId,AccessKeySecret 以及 endpoint。具体请参考开发准备一节

    0 0
相关问答

1

回答

如何在MR/Spark作业中指定OSS数据源文件路径?

2020-03-20 10:04:17 718浏览量 回答数 1

1

回答

Spark Streaming 原理是什么?

2022-01-13 15:54:26 1118浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有些什么区别?

2021-12-08 17:54:39 366浏览量 回答数 1

1

回答

Spark Streaming中的DStream的输出操作是什么?

2021-12-07 20:17:49 136浏览量 回答数 1

1

回答

Spark Streaming中的DStream的转化操作是什么?

2021-12-07 20:17:05 111浏览量 回答数 1

1

回答

spark streaming是怎么收集和处理数据的?

2021-12-07 22:52:45 114浏览量 回答数 1

1

回答

spark streaming中的foreachRDD(func)方法是什么?

2021-12-07 08:05:05 291浏览量 回答数 1

1

回答

使用Spark Streaming SQL进行 PV/UV统计的准备工作?

2020-12-28 11:39:00 418浏览量 回答数 1

1

回答

如何使用Spark Streaming SQL进行 PV/UV统计?

2020-12-28 11:38:30 486浏览量 回答数 1

1

回答

spark streaming实时程序 进程总是运行三四个小时左右不知道原因挂掉

2019-12-20 21:25:15 877浏览量 回答数 1
282
文章
74
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载