SparkContext无法以master设置为“Yarn”开始-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

SparkContext无法以master设置为“Yarn”开始

2018-12-19 17:14:44 2507 1

我试图在Scala API(Play框架)中运行SparkContext。当我将Spark master设置为“local”时,它工作正常,但是,当我将master设置为“YARN”时,它会引发异常:

[SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.]
当我检查容器的日志时,我得到以下内容:

Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher
如果我运行 spark-shell --master yarn 它运行SparkContext没有任何问题。

这是我的代码:

val sparkS = SparkSession.builder
.config("spark.hadoop.validateOutputSpecs", "false")
.config("spark.executor.memory", "4g")
.config("spark.driver.memory", "3g")
.config("spark.rpc.message.maxSize", "2047")
.config("SPARK_DIST_CLASSPATH", "/usr/local/spark/jars/*")
.config("spark.yarn.archive", "hdfs://localhost:54310/spark-libs.jar")
.config("spark.yarn.jars", "/usr/local/spark/jars/*")
.config("spark.executor.extraJavaOptions", "-XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"")
.config("spark.executor.extraLibraryPath", "/usr/local/hadoop-2.8.5/lib/native:/usr/local/hadoop-2.8.5/lib/native/Linux-amd64-64")
.config("HADOOP_CONF_DIR", "/usr/local/hadoop-2.8.5/etc/hadoop")
.config("spark.yarn.am.waitTime", "1d")
.master("yarn").getOrCreate

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:23:05

    提交spark jar时你必须提到主类.Below是格式

    ./bin/spark-submit \
    --class \
    --master \
    --deploy-mode \
    --conf = \
    ... # other options
    \
    [application-arguments]

    0 0
相关问答

1

回答

SparkStreaming SQL是什么?

2020-12-28 11:26:30 409浏览量 回答数 1

1

回答

freemarker0.9.14,myeclipse2017 装完打开ftl文件就报错 ?报错

2020-06-23 15:59:41 191浏览量 回答数 1

0

回答

IOS13:选择保存照片后未调用UIActivityViewController.completio

2019-12-12 13:51:43 432浏览量 回答数 0

0

回答

fastjson 会把任何getXX 解析成字段

2019-09-04 17:28:52 616浏览量 回答数 0

1

回答

推流时间可不可以设置成无限时长

2019-03-11 17:41:04 744浏览量 回答数 1

2

回答

新配置出站规则9999,希望以http方式无法访问

2018-09-13 18:27:27 923浏览量 回答数 2

0

回答

E-MapReduceSpark 作业配置是什么?

2017-10-30 14:05:14 1205浏览量 回答数 0

3

回答

MaxCompute(原odps)是否支持快照,changelog的设置方式是什么,如果有文档请发一下。

2017-05-19 17:09:18 3017浏览量 回答数 3

1

回答

我的eclipse3.7为什么没有marketplace呢?

2016-06-15 10:24:36 1919浏览量 回答数 1

1

回答

如何在shard环境中平衡unsharded collection

2016-02-19 12:01:11 1665浏览量 回答数 1
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载