spark 访问不了oss-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

spark 访问不了oss

云海漫步 2017-11-27 06:43:53 2860

用github上的aliyun-emapreduce-demo, Spark本地应用访问oss遇到的问题:
在源文件的src/main/scala/com/aliyun/emr/example/RunLocally.scala 中
conf.set("spark.hadoop.fs.oss.impl", "com.aliyun.fs.oss.nat.NativeOssFileSystem")
conf.set("spark.hadoop.mapreduce.job.run-local", "true")
编译后执行 spark-submit --class com.aliyun.emr.example.OSSSample target/shaded/examples-1.1-shaded.jar oss://...后
如果不在uri里面给出ak的话,只在代码里用conf.set 设置ak,结果有exeption, 原因是Caused by: java.lang.IllegalArgumentException: AccessKeyId/AccessKeySecret/SecurityToken is not available, you can set them in configuration.

如果用oss://key:secret@buket.endpoint 作为命令输入参数的话,会有报错
WARN NativeOssFileSystem: Disallow set ak information in OSS URI.
Exception in thread "main" java.io.IOException: java.lang.IllegalArgumentException: Disallow set ak information in OSS URI

ak怎么用啊?各位怎么解决呢给点建议吧

分布式计算 Scala 对象存储 Spark
分享到
取消 提交回答
全部回答(2)
  • niu-tech
    2019-07-17 21:45:15

    我也碰到这个问题了,有解决方案吗?

    0 0
  • 云海漫步
    2019-07-17 21:45:15

    我用的代码是github上的emr demo里的osssample

    0 0
添加回答
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题