大数据计算MaxCompute这个要怎么处理？
大数据计算MaxCompute这个要怎么处理？
作业运行失败 提示：FAILED: ODPS-0123131:User defined function exception - Traceback:
java.lang.OutOfMemoryError: Java heap space
at org.apache.hadoop.hive.ql.exec.vector.BytesColumnVector.increaseBufferSpace(BytesColumnVector.java:218)
at org.apache.hadoop.hive.ql.exec.vector.BytesColumnVector.setVal(BytesColumnVector.java:150)
at org.apache.hadoop.hive.ql.io.orc.WriterImpl.setColumn(WriterImpl.java:171)
at org.apache.hadoop.hive.ql.io.orc.WriterImpl.addRow(WriterImpl.java:286)
at org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat$OrcRecordWriter.write(OrcOutputFormat.java:103)
at com.aliyun.odps.hive.wrapper.HiveOutputFormatWrapper$2.write(HiveOutputFormatWrapper.java:228)
at com.aliyun.odps.udf.impl.DefaultSerdeOutputer.output(DefaultSerdeOutputer.java:78)
at com.aliyun.odps.udf.OutputerHandler$NormalOutputerDelegation.output(OutputerHandler.java:69)
at com.aliyun.odps.udf.OutputerHandler.output(OutputerHandler.java:500)
at com.aliyun.odps.udf.OutputerHandlerf2b89167bf1c4e9183540301e39374a8.output(Unknown Source)
https://dataworks.data.aliyun.com/cn-hangzhou/workbench?defaultProjectId=4130&env=prod&isOdpsTask=1&taskId=6921007889&userProjectId=4130#/runLog
写回答
-
内存溢出，参考这里调整下：https://help.aliyun.com/zh/maxcompute/user-guide/faq-about-external-tables?spm=a2c4g.11186623.0.i2#section-uod-o1i-bey ，此回答整理自钉群“MaxCompute开发者社区2群”
2024-08-14 19:05:19赞同 8 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
