开发者社区> 问答> 正文

Spark的属性spark.yarn.jar有什么意思?

Spark的属性spark.yarn.jar有什么意思?

展开
收起
游客fq2cv4o24bhvc 2021-12-07 18:43:48 301 0
1 条回答
写回答
取消 提交回答
  • Spark jar文件的位置,覆盖默认的位置。默认情况下,Spark on YARN将会用到本地安装的Spark jar。但是Spark jar也可以HDFS中的一个公共位置。这允许YARN缓存它到节点上,而不用在每次运行应用程序时都需要分配。

    2021-12-07 19:39:54
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载