大数据计算MaxCompute这个是什么错误吗？
大数据计算MaxCompute这个是什么错误吗？
FAILED: ODPS-0110061: Failed to run ddltask -
Modify DDL meta encounter exception : ODPS-0010000:System internal error -
Metastore processing exception - Batch modify failed. ots2.0 processing error because of
[Message]:batchWriteRow partially failed,
one of its errors:
Transaction size exceeds the limit.RowSize:2785.TotalSize:4195749.Limit:4194304.,
[RequestId]:00061274-7593-770d-aac4-ca0b87266e51, [TraceId]:null, [HttpStatus:]0 (
Inner exception: batchWriteRow partially failed, one of its errors:
Transaction size exceeds the limit.RowSize:2785.TotalSize:4195749.Limit:4194304.)
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。根据提供的错误信息，这是一个MaxCompute（阿里云大数据计算服务）的错误。错误代码为ODPS-0110061，表示在运行DDL任务时遇到了问题。具体的错误信息是"Transaction size exceeds the limit"，即事务大小超过了限制。
根据错误信息中的详细信息，可以看出出现了一个批量写入行操作失败的情况。其中一个错误是事务大小超过了限制。RowSize表示单个行的大小为2785字节，TotalSize表示总大小为4195749字节，而Limit表示限制为4194304字节。
这个错误通常发生在进行大量数据写入操作时，超过了MaxCompute的事务大小限制。为了解决这个问题，你可以考虑以下几种方法：
减小每次写入的数据量：将大批量的数据拆分成更小的部分进行写入，以符合事务大小的限制。
增加事务大小限制：如果你有权限，可以尝试增加MaxCompute的事务大小限制，以满足你的数据写入需求。
优化数据结构：检查你的数据结构是否合理，是否存在冗余或不必要的字段，可以通过优化数据结构来减少每个行的大小。
请注意，具体的解决方法可能因实际情况而异，你需要根据你的具体情况和需求来选择适合的解决方案。
2024-03-06 13:30:30赞同 展开评论 打赏 -
初步排查是动态分区作业对大批量的分区写入或删除分区的操作会遇到元数据服务请求大小的限制会失败。已经调整限制后止血。此回答整理自钉群“MaxCompute开发者社区1群”
2024-03-05 23:15:48赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
