开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute这个一般是什么原因导致的啊?

大数据计算MaxCompute这个一般是什么原因导致的啊?偶现的情况。
com.aliyun.odps.OdpsException: ODPS-0110061: Failed to run ddltask - Modify DDL meta encounter exception : ODPS-0429311:Transaction aborted - MaxC Transaction aborted. Can't update fz_bigdata.bigdata_group_info. Update meta file check failed. It may cause by concurrent insert into operations.
https://logview.aliyun.com/logview/?h=http://service.cn-shenzhen.maxcompute.aliyun.com/api&p=fz_bigdata&i=20240430033213982gi72ehme8kf&token=dTJDSm5XMk1ITkFRMUN0eGMwV3ZscFR3UUpJPSxPRFBTX09CTzpwNF8yMDM3ODY2OTY5MjYyMDE1MjYsMTcxNTA1NDcwOCx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvZnpfYmlnZGF0YS9pbnN0YW5jZXMvMjAyNDA0MzAwMzMyMTM5ODJnaTcyZWhtZThrZiJdfV0sIlZlcnNpb24iOiIxIn0=

展开
收起
-Feng、冯冯 2024-05-07 10:53:13 26 0
2 条回答
写回答
取消 提交回答
  • 应该是元数据冲突了,并发写入这张表了吗?重跑下看看。此回答整理自钉群“MaxCompute开发者社区1群”

    2024-05-07 12:14:44
    赞同 1 展开评论 打赏
  • 遇到错误 ODPS-0110061 和 ODPS-0429311,主要是因为在尝试修改表结构(DDL操作)时遇到了事务异常,具体是由于并发插入操作导致的元数据检查失败。MaxCompute 在执行 DDL 操作时,为了保证数据一致性,会对表进行锁定,如果此时有其他并发的写入(如 Insert)操作,就可能导致这个冲突。避免短时间内并发去更新Meta信息,建议更新Meta信息的操作间隔至少为一分钟。可参考官方文档上大数据计算MaxCompute

    image.png

    2024-05-07 11:24:27
    赞同 1 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载