开发者社区> 问答> 正文

DataWorks上开发odps spark任务在submit阶段oom

已解决

DataWorks上开发odps spark任务在submit阶段oom

展开
收起
提个问题 2024-05-31 15:03:42 34 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    现象:日志中报错:
    Caused by: java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOf(Arrays.java:3236)
    。。。
    at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1542)
    at
    org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:881)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:197)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:227)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:136)

    解决:主jar包太大了,DataWorks端oom了,可以减小主jar包,其他依赖通过spark.hadoop.odps.cupid.resources参数引用。
    2024-05-31 15:03:43
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载