开发者社区> 问答> 正文

spark on yarn提交任务时一直显示ACCEPTED?报错

spark on yarn提交任务时一直显示ACCEPTED,过一个小时后就会出现任务失败,但在提交时shell终端显示的日志并没有报错,logs文件夹中也没有日志产生。

任务提交命令为

 bin/spark-submit --class org.apache.spark.examples.JavaWordCount\
    --master yarn-client \
    --num-executors 25 \
    --executor-memory 1g \
    --executor-cores 1 \
    lib/spark-examples-1.0.1-hadoop2.2.0.jar \
    hdfs://192.168.1.11:9000/test

spark-env.sh配置如下:

export SPARK_JAR=hdfs://192.168.1.11:9000/test1/spark-assembly-1.0.1-hadoop2.2.0.jar
export SPARK_YARN_APP_JAR=hdfs://192.168.1.11:9000/test1/spark-examples-1.0.1-hadoop2.2.0.jar
export HADOOP_CONF_DIR=/hadoop/etc/hadoop
export SPARK_EXECUTOR_INSTANCES=1000
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=10000M
export SPARK_DRIVER_MEMORY=20000M
export SPARK_YARN_APP_NAME=spark

展开
收起
爱吃鱼的程序员 2020-06-14 22:02:52 1077 0
1 条回答
写回答
取消 提交回答
  • https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB

    该问题最后终于解决了,总结一下如下:

    http://my.oschina.net/mkh/blog/310158

    2020-06-14 22:03:08
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载