MaxCompute这个任务报错的原因可以解释一下吗？分区数据量很大，这个需要调那个参呢？
FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: com.aliyun.odps.lot.cbo.plan.splitting.disruptor.SplitTimeoutException: Split data source timeout. Task:M1, Table:._s [PartitionNum:1962] MaxCompute这个任务报错的原因可以解释一下吗？分区数据量很大，这个需要调那个参呢？http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=bi_ngmm&i=20230505215540328g3c21ni9qcg&token=amQ1STJxdVBJeTRLSzlPeEpDM3JnVE0wMTJBPSxPRFBTX09CTzpwNF8yOTg1MjE3NzM1NjE3MTM5ODksMTY4NTkxNTc0MCx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvYmlfbmdtbS9pbnN0YW5jZXMvMjAyMzA1MDUyMTU1NDAzMjhnM2MyMW5pOXFjZyJdfV0sIlZlcnNpb24iOiIxIn0=
写回答
-
SQLTask is splitting data sources sql 作业优化中，切分data sources 【该阶段作业卡住的可能原因 1 】读取的分区太多。每个分区需要去根据分区信息来决定处理方式，决定 split，并且会写到生成的执行计划中。 【解决方法】需要好好设计 SQL，减少分区的数量，包括：分区裁剪、筛除不需要读的分区、把大作业拆成小作业。 如何判断 SQL 中分区剪裁是否生效，以及分区裁剪失效的常见场景请参考文章： 分区裁剪合理性评估https://help.aliyun.com/document_detail/58679.html
【该阶段作业卡住的可能原因 2 】小文件太多。ODPS 会根据文件大小决定 split，小文件多了会导致计算 split 的过程耗时增加。 【产生小文件的原因】：对分区表进行 insert into 操作的时候，会在 partition 目录下面生成一个新文件。 【解决方法】：执行一次 alter table merge smallfiles; 让 odps 把小文件 merge 起来。 更多内容请参考官方文档：合并小文件优化介绍：https://help.aliyun.com/document_detail/466838.html，此回答整理自钉群“MaxCompute开发者社区2群”
2023-05-07 15:09:58赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
