2
条回答
写回答
写回答
-
"问：外部表常见问题 **答：**Q：在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何处理？ 问题现象：在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出。 FAILED: ODPS-0123131:User defined function exception - Traceback: java.lang.OutOfMemoryError: Java heap space
设置如下参数后运行时间增加但依然报错内存溢出。 set odps.stage.mapper.mem = 2048 set odps.stage.mapper.jvm.mem = 4096
问题原因：外部表的对象文件太多，内存占用过大且未设置分区。 解决方法： 使用小数据量查询。 将对象文件进行分区，以减少内存占用。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”"2023-03-29 20:59:32赞同 展开评论 打赏
问答分类：
问答地址：
开发者社区
>
大数据与机器学习
>
大数据开发治理DataWorks
>
问答
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
热门讨论
热门文章
dataworks里面的stg层、ods层、dwd层、dws层、是怎么分层的呢？
2686
数据来源：com.alibaba.fastjson.JSONException: syntax er
5621
请教一下DataWorks，doris和starRocks 选型，选哪个？
1464
如何下载dataworks产品文档？
405
Dataphin和 Dataworks 有啥区别呢？
1901
数据服务报429请求次数过多咋办呀
1929
兄弟们啊，同步中DI、RI到底什么意思，是什么的缩写？
403
DataWorks我该如何访问A项目安装了项目的package资源？
1972
帆软决策报表中的下拉复选框控件怎么使用呀
1133
报错信息：invalid jdbc url, DatabaseName not configured
1059
展开全部
云上一指禅：大数据产品DataWorks每日问答
1536
DataWorks售前咨询
8619
DataWorks：新一代 Data+AI 数据开发与数据治理平台演进
199
2万字揭秘阿里巴巴数据治理平台DataWorks建设实践
27906
【2023云栖】田奇铣：大模型驱动DataWorks数据开发治理平台智能化升级
59311
大数据&AI的16种可能，2020阿里云客户最佳实践合集下载
72856
数据中台的智能进化—阿里巴巴十二年数据平台发展历程
9203
【云栖实录】DataWorks：新一代智能湖仓一体数据开发与治理平台
342
DataWorks产品使用合集之怎么选择Doris或StarRocks作为DataWorks的OLAP解决方案
165
DataWorks on EMR StarRocks，打造标准湖仓新范式
46
展开全部
