FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: com.aliyun.odps.lot.cbo.plan.splitting.disruptor.SplitTimeoutException: Split data source timeout. Task:M1, Table:._s [PartitionNum:1962] MaxCompute这个任务报错的原因可以解释一下吗?分区数据量很大,这个需要调那个参呢?http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=bi_ngmm&i=20230505215540328g3c21ni9qcg&token=amQ1STJxdVBJeTRLSzlPeEpDM3JnVE0wMTJBPSxPRFBTX09CTzpwNF8yOTg1MjE3NzM1NjE3MTM5ODksMTY4NTkxNTc0MCx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvYmlfbmdtbS9pbnN0YW5jZXMvMjAyMzA1MDUyMTU1NDAzMjhnM2MyMW5pOXFjZyJdfV0sIlZlcnNpb24iOiIxIn0=
SQLTask is splitting data sources sql 作业优化中,切分data sources 【该阶段作业卡住的可能原因 1 】读取的分区太多。每个分区需要去根据分区信息来决定处理方式,决定 split,并且会写到生成的执行计划中。 【解决方法】需要好好设计 SQL,减少分区的数量,包括:分区裁剪、筛除不需要读的分区、把大作业拆成小作业。 如何判断 SQL 中分区剪裁是否生效,以及分区裁剪失效的常见场景请参考文章: 分区裁剪合理性评估https://help.aliyun.com/document_detail/58679.html
【该阶段作业卡住的可能原因 2 】小文件太多。ODPS 会根据文件大小决定 split,小文件多了会导致计算 split 的过程耗时增加。 【产生小文件的原因】:对分区表进行 insert into 操作的时候,会在 partition 目录下面生成一个新文件。 【解决方法】:执行一次 alter table merge smallfiles; 让 odps 把小文件 merge 起来。 更多内容请参考官方文档:合并小文件优化介绍:https://help.aliyun.com/document_detail/466838.html,此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。