在MaxCompute为啥都失败了，我单个跑都是可以了？
问题1：在MaxCompute为啥都失败了，我单个跑都是可以了？
2023-06-29 15:24:03 INFO Current task status:RUNNING
2023-06-29 15:24:03 INFO Start execute shell on node cn-shanghai.550232427260162.1662692907591.
2023-06-29 15:24:03 INFO Current working dir /home/admin/alisatasknode/taskinfo/20230629/phoenix/15/24/01/bku4vzbpcrzud73cqft60phi
2023-06-29 15:24:03 INFO Full Command ..
2023-06-29 15:24:03 INFO -------------------------
2023-06-29 15:24:03 INFO /opt/taobao/tbdpapp/odpswrapper/odpswrapper.py /home/admin/alisatasknode/taskinfo//20230629/phoenix/15/24/01/bku4vzbpcrzud73cqft60phi//276668_10625530_503375854
2023-06-29 15:24:03 INFO -------------------------
2023-06-29 15:24:03 INFO List of passing environment ..
2023-06-29 15:24:03 INFO -------------------------
2023-06-29 15:24:03 INFO SKYNET_BUSINESS_NAME=QL_DIM:
2023-06-29 15:24:03 INFO SKYNET_ENDPOINT=http://service.cn.maxcompute.aliyun-inc.com/api:
2023-06-29 15:24:03 INFO SKYNET_PTYPE=10:
2023-06-29 15:24:03 INFO SKYNET_ACTIONID=1:
2023-06-29 15:24:03 INFO SKYNET_RERUN_MODE=1:
2023-06-29 15:24:03 INFO SKYNET_FLOW_PARAVALUE=:
2023-06-29 15:24:03 INFO SKYNET_ONDUTY=268753055456470127:
2023-06-29 15:24:03 INFO SKYNET_SYSTEMID=dev:
2023-06-29 15:24:03 INFO CALC_ENGINE_IDENTIFIER=qingluan_onedata_dev:
2023-06-29 15:24:03 INFO SKYNET_SOURCEID=900006900121:
2023-06-29 15:24:03 INFO SKYNET_PARAVALUE=:
2023-06-29 15:24:03 INFO SKYNET_TASKID=900808766786:
2023-06-29 15:24:03 INFO SKYNET_TENANT_ID=433141849747680:
2023-06-29 15:24:03 INFO SKYNET_ID=-1:
2023-06-29 15:24:03 INFO SKYNET_JOBID=900061016766:
2023-06-29 15:24:03 INFO SKYNET_NODENAME=dim_sea_hypermart_reset_period:
2023-06-29 15:24:03 INFO SKYNET_CYCTYPE=0:
2023-06-29 15:24:03 INFO SKYNET_TASK_INPUT={}:
2023-06-29 15:24:03 INFO SKYNET_TIMEZONE=GMT+8:
2023-06-29 15:24:03 INFO SKYNET_EXENAME=/opt/taobao/tbdpapp/odpswrapper/odpswrapper.py:
2023-06-29 15:24:03 INFO IS_NEW_SCHEDULE=true:
2023-06-29 15:24:03 INFO SKYNET_DAGTYPE=4:
2023-06-29 15:24:03 INFO SKYNET_SOURCENAME=S_res_group_433141849747680_1662692902245:
2023-06-29 15:24:03 INFO SKYNET_SYSTEM_ENV=dev:
2023-06-29 15:24:03 INFO SKYNET_GMTDATE=20230629:
2023-06-29 15:24:03 INFO SKYNET_ENVTYPE=1:
2023-06-29 15:24:03 INFO SKYNET_BIZDATE=20230628:
2023-06-29 15:24:03 INFO SKYNET_CYCTIME=20230629000000:
2023-06-29 15:24:03 INFO SKYNET_FAILOVER_HANDLER=1:
2023-06-29 15:24:03 INFO SKYNET_DAG_INPUT={}:
2023-06-29 15:24:03 INFO SKYNET_ONDUTY_WORKNO=268753055456470127:
2023-06-29 15:24:03 INFO SKYNET_APP_ID=263452:
2023-06-29 15:24:03 INFO SKYNET_APPNAME=OneData:
2023-06-29 15:24:03 INFO SKYNET_BUSINESS_ID=10625530:
2023-06-29 15:24:03 INFO SKYNET_PRIORITY=1:
2023-06-29 15:24:03 INFO KILL_SIGNAL=SIGKILL:
2023-06-29 15:24:03 INFO SKYNET_RERUN_TIME=0:
2023-06-29 15:24:03 INFO TASK_SOURCE=dataworks_scheduler:
2023-06-29 15:24:03 INFO SKYNET_REGION=cn-shanghai:
2023-06-29 15:24:03 INFO TASK_PLUGIN_NAME=odps_sql:
2023-06-29 15:24:03 INFO ALISA_UNIQUEKEY=cn-shang 问题2：那为什么我们之前写的可以？
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
北京阿里云ACE会长
在MaxCompute中，单个任务或SQL执行成功，并不代表整个作业或流程一定能够成功。可能会因为整个流程中涉及到的数据量、资源占用、并发度等因素，导致整个作业或流程失败。因此，在MaxCompute中，需要综合考虑整个作业或流程的因素，而不仅仅是单个任务或SQL的执行结果。
以下是一些可能导致整个作业或流程失败的原因：
数据倾斜：在MaxCompute中，如果某个任务或SQL涉及到的数据存在倾斜，可能会导致整个作业或流程失败。建议您对数据进行分桶、分区等操作，以平衡数据倾斜。
资源限制：在MaxCompute中，如果某个任务或SQL占用的资源超过了预设的限制，可能会导致整个作业或流程失败。建议您合理设置作业或流程的资源配额和参数，以避免资源限制问题。
并发度限制：在MaxCompute中，如果某个任务或SQL的并发度超过了预设的限制，可能会导致整个作业或流程失败。建议您合理设置作业或流程的并发度，以避免并发度限制问题。2023-07-29 13:09:12赞同 展开评论 -
如果在MaxCompute上的任务或操作失败，但是在单个运行时却成功，可能有以下几个原因：
数据规模问题：在单个运行时，数据规模可能相对较小，而在MaxCompute上执行时，涉及到更大规模的数据处理。这可能导致资源不足、内存溢出等问题。确保您的MaxCompute集群配置足够满足任务所需的资源。
并发问题：在单个运行时，没有与其他任务或用户共享计算资源。但是，在MaxCompute上，多个任务可能同时运行，并且会共享计算资源和数据存储。这可能导致资源竞争和冲突，进而导致任务失败。您可以尝试调整任务的并发度或部署时间，以减少资源冲突。
网络问题：MaxCompute是基于网络进行数据传输和计算的。如果网络连接不稳定或存在延迟，可能会导致任务执行失败。确保您的网络连接稳定，并尽量避免高峰期的网络拥塞。
配置差异：在单个运行时，可能使用了不同的配置或环境，而在MaxCompute上执行时，需要按照特定的规范进行配置。确保您的MaxCompute配置与任务所需的配置相匹配，并根据任务需求进行适当的调整。
2023-07-28 22:17:35赞同 展开评论 -
针对问题1的回答：set后面不要有注释，把注释去掉重新执行试试。
针对问题2的回答： 这个注释识别不稳定，建议是不加注释。此回答整理自钉群“MaxCompute开发者社区2群”2023-07-04 21:38:39赞同 展开评论
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。