从Redshift读入Spark Dataframe(Spark-Redshift模块)-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

从Redshift读入Spark Dataframe(Spark-Redshift模块)

2019-01-02 15:02:39 3595 1

我正在按照spark-redshift教程阅读redshift到spark(databricks)。我有以下代码:

val tempDir = "s3n://{my-s3-bucket-here}"

val jdbcUsername = "usernameExample"
val jdbcPassword = "samplePassword"
val jdbcHostname = "redshift.companyname.xyz"
val jdbcPort = 9293
val jdbcDatabase = "database"
val jdbcUrl = "sampleURL"

sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "SAMPLEAWSKEY")
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "SECRETKEYHERE")

val subs_dim = sqlContext.read.format("com.databricks.spark.redshift").option("url", jdbcUrl).option("tempdir", tempDir).option("dbtable", "example.exampledb").load()
现在,当我试图运行它时,我得到:

java.lang.IllegalArgumentException: requirement failed: You must specify a method for authenticating Redshift's connection to S3 (aws_iam_role, forward_spark_s3_credentials, or temporary_aws_*. For a discussion of the differences between these options, please see the README.
我有点困惑,因为我使用sc.hadoopConfiguration.set定义了awsAccesskeyID。=我想知道AWS密钥是错误的,还是我遗漏了什么?

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:24:24

    我认为唯一的原因是,由于您尚未设置,因此未将S3凭据传递给Redshift连接forward_spark_s3_credentials。

    在你的调试中添加以下操作。

    option("forward_spark_s3_credentials", "true");

    将Spark的S3凭据转发到Redshift:如果forward_spark_s3_credentials选项设置为true,则此库将自动发现Spark用于连接到S3的凭据,并将这些凭据通过JDBC转发到Redshift。

    0 0
相关问答

1

回答

如何将dataframe中的所有制以百分数的格式表示?

2021-12-05 20:20:46 118浏览量 回答数 1

1

回答

DataFrame中第二个参数索引表示什么?

2021-11-29 23:03:55 92浏览量 回答数 1

1

回答

与外部系统交互的接口是用http还是rpc好?#云原生后端

2020-06-12 09:25:02 544浏览量 回答数 1

1

回答

Echarts中legend的formatter函数怎么可以读取到data中的value值报错

2020-06-07 14:05:40 2986浏览量 回答数 1

1

回答

rdd 怎么转 dataFrame

2020-02-14 20:27:57 594浏览量 回答数 1

1

回答

Spark:优化DataFrame,将其写入SQL 服务器

2019-12-17 13:33:58 261浏览量 回答数 1

0

回答

如何将我的Spark Dataframe推送到Google Bigquery?

2019-09-25 15:16:55 248浏览量 回答数 0

2

回答

如何计算和获取Spark Dataframe中唯一ID的值总和?

2019-01-02 15:21:10 4071浏览量 回答数 2

1

回答

如何用整数替换Null条件Pyspark Dataframe

2018-12-05 13:23:47 3105浏览量 回答数 1

0

回答

免费 Cloudflare CNAME/IP接入,免服务器配置支持IPv6,海外加速,支持Railgun

2018-02-16 18:35:17 8943浏览量 回答数 0
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载