spark 访问不了oss-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

spark 访问不了oss

2017-11-27 06:43:53 5960 2

用github上的aliyun-emapreduce-demo, Spark本地应用访问oss遇到的问题:
在源文件的src/main/scala/com/aliyun/emr/example/RunLocally.scala 中
conf.set("spark.hadoop.fs.oss.impl", "com.aliyun.fs.oss.nat.NativeOssFileSystem")
conf.set("spark.hadoop.mapreduce.job.run-local", "true")
编译后执行 spark-submit --class com.aliyun.emr.example.OSSSample target/shaded/examples-1.1-shaded.jar oss://...后
如果不在uri里面给出ak的话,只在代码里用conf.set 设置ak,结果有exeption, 原因是Caused by: java.lang.IllegalArgumentException: AccessKeyId/AccessKeySecret/SecurityToken is not available, you can set them in configuration.

如果用oss://key:secret@buket.endpoint 作为命令输入参数的话,会有报错
WARN NativeOssFileSystem: Disallow set ak information in OSS URI.
Exception in thread "main" java.io.IOException: java.lang.IllegalArgumentException: Disallow set ak information in OSS URI

ak怎么用啊?各位怎么解决呢给点建议吧

取消 提交回答
全部回答(2)
  • niu-tech
    2019-07-17 21:45:15

    我也碰到这个问题了,有解决方案吗?

    0 0
  • 云海漫步
    2019-07-17 21:45:15

    我用的代码是github上的emr demo里的osssample

    0 0
添加回答
相关问答

1

回答

如何在MR/Spark作业中指定OSS数据源文件路径?

2020-03-20 10:04:17 715浏览量 回答数 1

1

回答

如何在 MR/Spark 作业中指定 OSS 数据源文件路径

2019-04-26 15:35:29 2561浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有那些区别?

2021-12-08 15:32:46 161浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有些什么区别?

2021-12-08 17:54:39 355浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有怎样的区别?

2021-12-08 17:05:05 325浏览量 回答数 1

1

回答

spark streaming是怎么收集和处理数据的?

2021-12-07 22:52:45 104浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有什么区别?

2021-12-07 19:29:43 83浏览量 回答数 1

0

回答

Spark Streaming进行流数据处理大致可以分为哪些步骤?

2021-12-07 20:31:19 127浏览量 回答数 0

1

回答

Spark Streaming的容错原理是什么?

2021-12-07 22:51:27 150浏览量 回答数 1

1

回答

spark streaming实时程序 进程总是运行三四个小时左右不知道原因挂掉

2019-12-20 21:25:15 855浏览量 回答数 1
+关注
0
文章
2
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载