备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks上开发ODPS Spark任务在submit阶段OOM，Caused by: j

已解决

DataWorks上开发ODPS Spark任务在submit阶段OOM，Caused by: java.lang.OutOfMemoryError: Java heap space

展开

收起

阿里云服务支持 2022-12-09 10:32:09 264 0

1 条回答

写回答

取消提交回答

阿里云服务支持

推荐回答

官方回答

主jar包太大了，DataWorks端OOM，可以减小主jar包，其他依赖通过spark.hadoop.odps.cupid.resources参数引用。

2022-12-09 10:35:20

赞同展开评论打赏

问答分类：

分布式计算 DataWorks MaxCompute Spark 大数据开发治理平台 DataWorks 云原生大数据计算服务 MaxCompute

问答标签：

大数据开发治理平台 DataWorks开发大数据开发治理平台 DataWorks任务大数据开发治理平台 DataWorks odps 大数据开发治理平台 DataWorks spark 云原生大数据计算服务 MaxCompute任务

问答地址：

开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 问答

相关产品：

大数据开发治理平台 DataWorks

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

DataWorks数据开发，也能切换环境吗？

21

1

0

使用maxcompute开发ODPS Spark任务，使用spark.sql 无法 rename分区

61

4

0

DataWorks大致就这么多，我在官方文档上看是有ODPS Spark，但是实际看来是并没有的？

31

1

0

DataWorks下面的Datastudio模块没有ODPS Spark了吗，是已经移除了吗？

26

3

0

公司在用MaxCompute 做数据开发，大数据计算MaxCompute平台上有什么参数可以调整吗

25

1

0

DataWorks数据开发页面，怎么是代码模式？

15

1

0

dataworks如何连接maxcompute进行开发呀？

15

1

0

DataWorks是否也会在数据开发页面里生成对应的表离线抽数任务？

17

0

0

DataWorks数据开发是否和业务流程下的节点绑定了？

12

1

0

在 maxcompute 中使用 Odps script 模式创建开发任务，支持类似以下逻辑吗？

17

1

0

大数据与机器学习

大数据开发治理DataWorks

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

我要提问

相关产品

大数据开发治理平台 DataWorks

文档详情产品详情

热门讨论

热门文章

数据服务报429请求次数过多咋办呀

DataWorks我该如何访问A项目安装了项目的package资源？

数据来源：com.alibaba.fastjson.JSONException: syntax er

DataWorks生产节点今天总报：FAILED: 重跑就又可以？

dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？

dataworks的数据集成和dataq的数据上云，有什么区别？

为什么执行sql,显示无权限？

Dataphin和 Dataworks 有啥区别呢？

dataworks，pyodps节点，怎么把模型写入oss？

DataWorks Parse exception - invalid token '+'？

展开全部

云上一指禅：大数据产品DataWorks每日问答

2万字揭秘阿里巴巴数据治理平台DataWorks建设实践

数据中台的智能进化—阿里巴巴十二年数据平台发展历程

欢迎加入飞天大数据平台交流群

大数据公共数据集上线，免费试用TB级数据分析

DataWorks售前咨询

大数据&AI的16种可能，2020阿里云客户最佳实践合集下载

欢迎加入DataWorks产品钉钉交流群

【2023云栖】田奇铣：大模型驱动DataWorks数据开发治理平台智能化升级

DataWorks百问百答69：有哪些数据集成报错（数据集成报错归类）？

展开全部

相关课程

更多

大数据Spark2020最新课程（知识精讲与实战演练）第二阶段

147

77

去学习

大数据Spark2020版（知识精讲与实战演练）第三阶段

113

72

去学习

大数据Spark2020版（知识精讲与实战演练）第四阶段

148

20

去学习

一站式大数据开发治理平台DataWorks初级课程

399

11

去学习

DataWorks 使用教程

1112

9

去学习

DataWorks一站式大数据开发治理平台精品课程

7394

35

去学习

相关电子书

更多

DataWorks数据集成实时同步最佳实践（含内测邀请）-2020飞天大数据平台实战应用第一季 立即下载

DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载

基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

相关实验场景

更多