开发者社区> 问答> 正文

SparkR的spark.conf.set

社区小助手 2018-12-21 11:15:56 507

我有一个在Azure上运行的Databricks集群,并希望使用SparkR/ 来自Azure Data Lake Storage的读/写数据sparklyr。因此我配置了两个资源。

现在我必须为Spark环境提供必要的配置以对Data Lake Storage进行身份验证。

使用PySpark API作品设置配置:

spark.conf.set("dfs.adls.oauth2.access.token.provider.type", "ClientCredential")
spark.conf.set("dfs.adls.oauth2.client.id", "****")
spark.conf.set("dfs.adls.oauth2.credential", "****")
spark.conf.set("dfs.adls.oauth2.refresh.url", "https://login.microsoftonline.com/****/oauth2/token")

SparkR/ sparklyr本来应该用上。在这里,我无法弄清楚在哪里设置spark.conf.set。我会猜到类似的东西:

sparkR.session(
sparkConfig = list(spark.driver.memory = "2g",
spark.conf.set("dfs.adls.oauth2.access.token.provider.type", "ClientCredential"),
spark.conf.set("dfs.adls.oauth2.client.id", "****"),
spark.conf.set("dfs.adls.oauth2.credential", "****"),
spark.conf.set("dfs.adls.oauth2.refresh.url", "https://login.microsoftonline.com/****/oauth2/token")
))
分布式计算 API Spark
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:23:19

    正确的格式是

    sparkR.session(
    ... # All other options
    sparkConfig = list(

    spark.driver.memory = "2g",
    dfs.adls.oauth2.access.token.provider.type = "ClientCredential",
    dfs.adls.oauth2.client.id = "****",
    dfs.adls.oauth2.credential = "****",
    dfs.adls.oauth2.refresh.url ="https://login.microsoftonline.com/****/oauth2/token"

    )
    )
    请记住,只有在没有活动会话时才会识别许多配置。

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程