大数据计算MaxCompute跑pyodps3，直接失败了，也没说什么原因，这是什么原因？
大数据计算MaxCompute跑pyodps3，直接失败了，也没说什么原因，这是什么原因？
2023-07-05 13:16:19 INFO Current task status:RUNNING
2023-07-05 13:16:19 INFO Start execute shell on node cn-shanghai.550232427260162.1662692907591.
2023-07-05 13:16:19 INFO Current working dir /home/admin/alisatasknode/taskinfo/20230705/phoenix/13/16/16/lkvwvq3cjrqj87yweeixz2i4
2023-07-05 13:16:19 INFO Full Command ..
2023-07-05 13:16:19 INFO -------------------------
2023-07-05 13:16:19 INFO /home/tops/bin/python3 /opt/taobao/tbdpapp/pyodps/pyodpswrapper.py --code-file /home/admin/alisatasknode/taskinfo//20230705/phoenix/13/16/16/lkvwvq3cjrqj87yweeixz2i4//brand_category_repurchase_crowd_n_all_d --args
2023-07-05 13:16:19 INFO -------------------------
2023-07-05 13:16:19 INFO List of passing environment ..
2023-07-05 13:16:19 INFO -------------------------
2023-07-05 13:16:19 INFO SKYNET_ENDPOINT=http:// service.cn.maxcompute.aliyun-inc.com/api:
2023-07-05 13:16:19 INFO SKYNET_PTYPE=1221:
2023-07-05 13:16:19 INFO SKYNET_ACTIONID=1:
2023-07-05 13:16:19 INFO SKYNET_RERUN_MODE=1:
2023-07-05 13:16:19 INFO SKYNET_FLOW_PARAVALUE=:
2023-07-05 13:16:19 INFO SKYNET_ONDUTY=210017155456294904:
2023-07-05 13:16:19 INFO SKYNET_SYSTEMID=:
2023-07-05 13:16:19 INFO CALC_ENGINE_IDENTIFIER=qingluan_onedata:
2023-07-05 13:16:19 INFO SKYNET_SOURCEID=900006900121:
2023-07-05 13:16:19 INFO SKYNET_PARAVALUE=:
2023-07-05 13:16:19 INFO SKYNET_TASKID=900836991743:
2023-07-05 13:16:19 INFO SKYNET_TENANT_ID=433141849747680:
2023-07-05 13:16:19 INFO SKYNET_ID=700005970410:
2023-07-05 13:16:19 INFO SKYNET_JOBID=900061537342:
2023-07-05 13:16:19 INFO SKYNET_NODENAME=brand_category_repurchase_crowd_n_all_d:
2023-07-05 13:16:19 INFO SKYNET_CYCTYPE=0:
2023-07-05 13:16:19 INFO SKYNET_DSC_JOB_VERSION=1:
2023-07-05 13:16:19 INFO SKYNET_TASK_INPUT={}:
2023-07-05 13:16:19 INFO SKYNET_FLOWNAME=ATCLOUD_FLOW:
2023-07-05 13:16:19 INFO FILE_ID=700005970410:
2023-07-05 13:16:19 INFO SKYNET_TIMEZONE=GMT+8:
2023-07-05 13:16:19 INFO SKYNET_EXENAME=/home/tops/bin/python3 /opt/taobao/tbdpapp/pyodps/pyodpswrapper.py:
2023-07-05 13:16:19 INFO IS_NEW_SCHEDULE=true:
2023-07-05 13:16:19 INFO SKYNET_DAGTYPE=3:
2023-07-05 13:16:19 INFO FILE_VERSION=1:
2023-07-05 13:16:19 INFO SKYNET_SOURCENAME=S_res_group_433141849747680_1662692902245:
2023-07-05 13:16:19 INFO SKYNET_SYSTEM_ENV=prod:
2023-07-05 13:16:19 INFO SKYNET_GMTDATE=20230705:
2023-07-05 13:16:19 INFO SKYNET_ENVTYPE=1:
2023-07-05 13:16:19 INFO SKYNET_BIZDATE=20230704:
2023-07-05 13:16:19 INFO SKYNET_CYCTIME=20230705001400:
2023-07-05 13:16:19 INFO SKYNET_FAILOVER_HANDLER=1:
2023-07-05 13:16:19 INFO SKYNET_DAG_INPUT={}:
2023-07-05 13:16:19 INFO SKYNET_ONDUTY_WORKNO=210017155456294904:
2023-07-05 13:16:19 INFO SKYNET_DSC_JOB_ID=700005970410:
2023-07-05 13:16:19 INFO SKYNET_APP_ID=263452:
2023-07-05 13:16:19 INFO SKYNET_APPNAME=OneData:
2023-07-05 13:16:19 INFO SKYNET_PRIORITY=1:
2023-07-05 13:16:19 INFO KILL_SIGNAL=SIGKILL:
2023-07-05 13:16:19 INFO SKYNET_RERUN_TIME=2:
2023-07-05 13:16:19 INFO TASK_SOURCE=dataworks_scheduler:
2023-07-05 13:16:19 INFO SKYNET_REGION=cn-shanghai:
2023-07-05 13:16:19 INFO TASK_PLUGIN_NAME=pyodps:
2023-07-05 13:16:19 INFO ALISA_UNIQUEKEY=cn-shanghai#prod#T3_4162759864#900836991743#3:
2023-07-05 13:16:19 INFO ALISA_ENGINE_CALLBACKURL=NVL:
2023-07-05 13:16:19 INFO ALISA_TASK_ID=T3_4162759864:
2023-07-05 13:16:19 INFO ALISA_TASK_EXEC_TARGET=S_res_group_433141849747680_1662692902245:
2023-07-05 13:16:19 INFO ALISA_TASK_PRIORITY=1:
2023-07-05 13:16:19 INFO --- Invoking Shell command line now ---
2023-07-05 13:16:19 INFO =================================================================
Executing user script with PyODPS 0.10.7
Try to fetch data from tunnel
1m
Choose best k: 7
1w
Choose best k: 7
1y
The task process was abnormal exit, system set task failed!!!
/home/admin/alisatasknode/taskinfo//20230705/phoenix/13/16/16/lkvwvq3cjrqj87yweeixz2i4/T3_4162759864.log-END-EOF
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
-
北京阿里云ACE会长
在使用pyodps3执行MaxCompute任务时，如果任务直接失败，可能是由于以下原因导致的：
计算资源不足：如果您的MaxCompute计算资源（CPU、内存、磁盘等）不足，可能会导致任务执行失败。在这种情况下，您可以尝试增加计算资源，或者优化任务的代码和数据处理方式，以减少计算资源的消耗。
数据异常：如果您的数据存在异常情况，例如空值、重复值、数据格式错误等，可能会导致任务执行失败。在这种情况下，您可以检查数据的质量和完整性，对数据进行清洗和处理，以确保数据的正确性和一致性。
代码错误：如果您的代码存在语法错误、逻辑错误或运行时错误等，可能会导致任务执行失败。在这种情况下，您可以检查代码的正确性，排除代码错误，并进行代码优化和调试，以提高代码的性能和可靠性。
网络或服务异常：如果您的计算机或网络连接存在异常情况，或者MaxCompute服务本身存在故障或升级维护等情况，可能会导致任务执行失败。在这种情况下，您可以尝试重新连接网络或等待服务恢复正常，或者联系阿里云技术支持以获取更多帮助和解决方案。
当任务执行失败时，您可以尝试查看任务执行日志，以了解任务失败的具体原因。在pyodps3中，您可以使用如下的代码来查看任务执行日志：
python
Copy
from odps import ODPS
from odps.models import Instance设置MaxCompute连接信息
access_id = 'your_access_id'
access_key = 'your_access_key'
project_name = 'your_project_name'
endpoint = 'http://service.odps.aliyun.com/api'创建ODPS对象
odps = ODPS(access_id=access_id, secret_access_key=access_key,
project=project_name, endpoint=endpoint)获取任务实例ID并查看任务执行日志
instance = Instance(odps=odps, instance_id='your_instance_id')
print(instance.get_logview_address())
运行以上代码后，会输出任务实例的日志查看链接。2023-07-29 13:08:59赞同 展开评论 -
当在大数据计算MaxCompute上使用pyodps3运行时，如果任务直接失败而没有明确的错误信息返回，可能有几个原因导致：
代码错误：请检查您的Python代码是否存在语法错误、逻辑错误或其他问题。确保您的代码在本地测试通过，并符合MaxCompute的语法和规范要求。
环境配置问题：确认您的开发环境和依赖项配置正确。确保已经正确安装了pyodps3库，并且与MaxCompute集群连接正常。
资源配额不足：如果您的任务需要较大的资源，但是您的资源配额不足，可能会导致任务失败。请检查您的资源配额设置，并根据任务的需求进行调整。
数据访问权限：您的任务可能尝试访问未授权的数据表或文件资源。请确保您具有正确的权限来访问所需的数据资源。
数据量超出限制：MaxCompute对数据的大小和数量都有一定的限制。如果您的任务涉及大量数据或超过MaxCompute的限制，请考虑优化代码和数据处理方法。
网络连接问题：网络中断、超时或其他网络相关问题可能导致任务失败。请确保您的网络连接稳定，并尝试重新执行任务。
2023-07-28 21:52:11赞同 展开评论 -
我看报错：The task process was abnormal exit, system set task failed。你是冻结过这个节点之类的吗？当前是在生产环境执行的吗，如果是的话，麻烦在开发环境先执行一下是否可以成功。此回答整理自钉群“MaxCompute开发者社区2群”
2023-07-11 17:42:28赞同 展开评论
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。