大数据计算MaxCompute这是什么问题？
大数据计算MaxCompute这是什么问题？failed: ODPS-0110061: Failed to run ddltask - Modify DDL meta encounter exception : ODPS-0010000:System internal error - Metastore processing exception - Batch modify failed. ots2.0 processing error because of [ErrorCode]:OTSOutOfTransactionDataSizeLimit, [Message]:batchWriteRow partially failed, one of its errors: Transaction size exceeds the limit.RowSize:2804.TotalSize:4194614.Limit:4194304., [RequestId]:00061273-f0b1-fc5d-e623-150a6577b849, [TraceId]:null, [HttpStatus:]0 (Inner exception: batchWriteRow partially failed, one of its errors: Transaction size exceeds the limit.RowSize:2804.TotalSize:4194614.Limit:4194304.)
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。这个问题是由于MaxCompute的事务数据大小限制导致的。在执行批量写入操作时，事务的总大小超过了限制。具体来说，单个行的大小为2804字节，总大小为4194614字节，而限制为4194304字节。
要解决这个问题，您可以尝试以下方法：
- 减小单行数据的大小：检查您的数据模型和业务需求，看是否可以通过减少某些字段的大小或优化数据结构来减小单行数据的大小。
- 增加事务数据大小限制：如果您确实需要处理大量数据，可以考虑与阿里云技术支持联系，申请增加事务数据大小限制。请注意，这可能需要额外的费用和资源投入。
- 分批处理数据：将数据分成较小的批次进行处理，以适应当前的事务数据大小限制。这可以通过编写自定义脚本或使用MaxCompute提供的内置函数来实现。
2024-03-04 13:40:26赞同 展开评论 打赏 -
初步排查是动态分区作业对大批量的分区写入或删除分区的操作会遇到元数据服务请求大小的限制会失败。昨天凌晨已经调整限制后止血。 ，此回答整理自钉群“MaxCompute开发者社区2群”
2024-03-04 10:58:21赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
