大数据计算MaxCompute这个任务，昨天2点半开始执行，一直到早上九点多才执行完，什么原因？
大数据计算MaxCompute这个任务，昨天2点半开始执行，一直到早上九点多才执行完，能看一下原因吗？ http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=hdsrjkf_W00051&i=20240701182114713grn9qpbwsod&token=by9qdDFHV3E0R3l4UXlKMlp1M1UwQ2QyVTFnPSxPRFBTX09CTzpwNF8yMjUzMzE4NzY2MjQ3MzAwMTAsMTcyMjQ1MDA3NSx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvaGRzcmprZl93MDAwNTEvaW5zdGFuY2VzLzIwMjQwNzAxMTgyMTE0NzEzZ3JuOXFwYndzb2QiXX1dLCJWZXJzaW9uIjoiMSJ9
写回答
-
这个SQL慢的根因是因为有数据膨胀，join膨胀了特别多的数据，导致join和后续算子（sort+agg）都很慢
Job continues to run after failover阶段：fuxi job在运行过程中，sqltask发生了failover，之前running的job不受影响，但是substatus会有这个信息。可以调大下joiner的并发度，之后再观察一下：https://help.aliyun.com/zh/maxcompute/user-guide/set?spm=a2c4g.11186623.0.i5
此回答整理自钉群“MaxCompute开发者社区2群”2024-07-11 08:12:59赞同 7 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
