2
条回答
写回答
写回答
-
"问：外部表常见问题 **答：**Q：在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何处理？ 问题现象：在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出。 FAILED: ODPS-0123131:User defined function exception - Traceback: java.lang.OutOfMemoryError: Java heap space
设置如下参数后运行时间增加但依然报错内存溢出。 set odps.stage.mapper.mem = 2048 set odps.stage.mapper.jvm.mem = 4096
问题原因：外部表的对象文件太多，内存占用过大且未设置分区。 解决方法： 使用小数据量查询。 将对象文件进行分区，以减少内存占用。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”"2023-03-29 20:59:32赞同 展开评论 打赏
问答分类：
问答地址：
开发者社区
>
大数据与机器学习
>
大数据开发治理DataWorks
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
热门讨论
热门文章
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
2686
数据来源：com.alibaba.fastjson.JSONException: syntax er
5621
请教一下DataWorks，doris和starRocks 选型，选哪个？
1465
Dataphin和 Dataworks 有啥区别呢？
1902
兄弟们啊，同步中DI、RI到底什么意思，是什么的缩写？
403
数据服务报429请求次数过多咋办呀
1929
如何下载dataworks产品文档？
405
DataWorks我该如何访问A项目安装了项目的package资源？
1972
报错信息：invalid jdbc url, DatabaseName not configured
1059
帆软决策报表中的下拉复选框控件怎么使用呀
1133
展开全部
DataWorks售前咨询
8620
DataWorks：新一代 Data+AI 数据开发与数据治理平台演进
200
2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
27906
大数据&AI的16种可能，2020阿里云客户最佳实践合集下载
72856
【2023云栖】田奇铣：大模型驱动DataWorks数据开发治理平台智能化升级
59311
数据中台的智能进化—阿里巴巴十二年数据平台发展历程
9203
【云栖实录】DataWorks：新一代智能湖仓一体数据开发与治理平台
343
DataWorks产品使用合集之怎么选择Doris或StarRocks作为DataWorks的OLAP解决方案
165
DataWorks on EMR StarRocks，打造标准湖仓新范式
46
DataWorks操作报错合集之执行读取任务时遇到报错：“ERROR: failed to acquire resources on one or more segments”，该怎么解决
241
展开全部
