从Redshift读入Spark Dataframe(Spark-Redshift模块)-问答-阿里云开发者社区-阿里云

开发者社区> 社区小助手> 正文

从Redshift读入Spark Dataframe(Spark-Redshift模块)

2019-01-02 15:02:39 2976 1

我正在按照spark-redshift教程阅读redshift到spark(databricks)。我有以下代码:

val tempDir = "s3n://{my-s3-bucket-here}"

val jdbcUsername = "usernameExample"
val jdbcPassword = "samplePassword"
val jdbcHostname = "redshift.companyname.xyz"
val jdbcPort = 9293
val jdbcDatabase = "database"
val jdbcUrl = "sampleURL"

sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "SAMPLEAWSKEY")
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey", "SECRETKEYHERE")

val subs_dim = sqlContext.read.format("com.databricks.spark.redshift").option("url", jdbcUrl).option("tempdir", tempDir).option("dbtable", "example.exampledb").load()
现在,当我试图运行它时,我得到:

java.lang.IllegalArgumentException: requirement failed: You must specify a method for authenticating Redshift's connection to S3 (aws_iam_role, forward_spark_s3_credentials, or temporary_aws_*. For a discussion of the differences between these options, please see the README.
我有点困惑,因为我使用sc.hadoopConfiguration.set定义了awsAccesskeyID。=我想知道AWS密钥是错误的,还是我遗漏了什么?

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:24:24

    我认为唯一的原因是,由于您尚未设置,因此未将S3凭据传递给Redshift连接forward_spark_s3_credentials。

    在你的调试中添加以下操作。

    option("forward_spark_s3_credentials", "true");

    将Spark的S3凭据转发到Redshift:如果forward_spark_s3_credentials选项设置为true,则此库将自动发现Spark用于连接到S3的凭据,并将这些凭据通过JDBC转发到Redshift。

    0 0
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123730浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120259浏览量 回答数 10

37

回答

SaaS模式云数据仓库MaxCompute 百问百答合集(持续更新20211202)

亢海鹏 2020-05-29 15:10:00 62124浏览量 回答数 37

20

回答

【阿里云产品公测】简单日志服务SLS使用评测含教程

mr_wid 2014-10-09 07:18:30 41031浏览量 回答数 20

5

回答

阿里云与Linode对比测试-阿里云与Linode选哪个好

roye888 2013-10-22 11:39:01 27107浏览量 回答数 5

9

回答

问几个小白问:服务器重置?数据恢复?及其他?

ap6681c6b 2012-08-15 20:47:42 37876浏览量 回答数 9

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118483浏览量 回答数 5

18

回答

MaxCompute百问集锦(持续更新20171011)

隐林 2017-06-30 18:30:36 50829浏览量 回答数 18

1

回答

【开源分享】-6期- Linkis 一款支持多种计算存储引擎的企业级计算中间件

montos 2020-05-08 10:55:23 28494浏览量 回答数 1

11

回答

速戳 | 20位阿里出题专家-备战阿里必不可少的题目

Runt 2020-04-15 10:54:04 56730浏览量 回答数 11
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载