spark s3n是否支持端点类似于s3a-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

spark s3n是否支持端点类似于s3a

小六码奴 2019-04-23 15:36:45 523

我现在有一个端点服务器可以正常工作在spark中的s3a文件系统,我想支持s3n://和s3://

分布式计算 Spark
分享到
取消 提交回答
全部回答(1)
  • 小六码奴
    2019-07-17 23:34:05

    以下是您需要在配置中提供的类hadoop-aws.jar。

    org.apache.hadoop.fs.s3native.NativeS3FileSystem, org.apache.hadoop.fs.s3.S3FileSystem
    声明方式:

    在core-site.xml中


    fs.s3.impl
    org.apache.hadoop.fs.s3.S3FileSystem


    fs.s3n.impl
    org.apache.hadoop.fs.s3native.NativeS3FileSystem

    或者你可以像下面那样以编程方式设置它们。

    程序方式:

    示例:

    spark.sparkContext.hadoopConfiguration.set("fs.s3n.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")

    spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "AccessKey")
    spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "SecretKey")

    类似于s3://也。

    hadoop-aws.jar有这些类,所以你需要使用...为你的spark-submit作业提供jar。

    --jars /usr/hadoop/hadoop-aws.jar

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题