开发者社区> 问答> 正文

spark s3n是否支持端点类似于s3a

宋淑婷 2019-04-23 15:36:45 239

我现在有一个端点服务器可以正常工作在spark中的s3a文件系统,我想支持s3n://和s3://

分享到
取消 提交回答
全部回答(1)
  • 宋淑婷
    2019-07-17 23:34:05

    以下是您需要在配置中提供的类hadoop-aws.jar。

    org.apache.hadoop.fs.s3native.NativeS3FileSystem, org.apache.hadoop.fs.s3.S3FileSystem
    声明方式:

    在core-site.xml中


    fs.s3.impl
    org.apache.hadoop.fs.s3.S3FileSystem


    fs.s3n.impl
    org.apache.hadoop.fs.s3native.NativeS3FileSystem

    或者你可以像下面那样以编程方式设置它们。

    程序方式:

    示例:

    spark.sparkContext.hadoopConfiguration.set("fs.s3n.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")

    spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "AccessKey")
    spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "SecretKey")

    类似于s3://也。

    hadoop-aws.jar有这些类,所以你需要使用...为你的spark-submit作业提供jar。

    --jars /usr/hadoop/hadoop-aws.jar

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程