spark s3n是否支持端点类似于s3a

以下是您需要在配置中提供的类hadoop-aws.jar。

org.apache.hadoop.fs.s3native.NativeS3FileSystem, org.apache.hadoop.fs.s3.S3FileSystem
声明方式：

在core-site.xml中

fs.s3.impl
org.apache.hadoop.fs.s3.S3FileSystem

fs.s3n.impl
org.apache.hadoop.fs.s3native.NativeS3FileSystem

或者你可以像下面那样以编程方式设置它们。

程序方式：

示例：

spark.sparkContext.hadoopConfiguration.set("fs.s3n.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")

spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "AccessKey")
spark.sparkContext.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "SecretKey")

类似于s3：//也。

hadoop-aws.jar有这些类，所以你需要使用...为你的spark-submit作业提供jar。

--jars /usr/hadoop/hadoop-aws.jar