DataWorks上开发odps spark任务在submit阶段oom
已解决DataWorks上开发odps spark任务在submit阶段oom
展开
收起
1
条回答
写回答
写回答
-
开发者社区问答官方账号官方回答采纳回答现象：日志中报错：Caused by: java.lang.OutOfMemoryError: Java heap spaceat java.util.Arrays.copyOf(Arrays.java:3236)。。。at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1542)atorg.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:881)at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:197)at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:227)at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:136)解决：主jar包太大了，DataWorks端oom了，可以减小主jar包，其他依赖通过spark.hadoop.odps.cupid.resources参数引用。2024-05-31 15:03:43赞同 展开评论 打赏
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
