大数据计算MaxCompute有一个任务,等待资源时间,持续20分钟了,以前10分钟左右就会执行完的;
sql最前面,也加过这句话:set odps.service.mode=off;
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
这种情况可能是由于资源竞争导致的。当多个任务同时请求相同的资源时,系统需要对这些任务进行调度和分配,这可能会导致某些任务等待时间变长。
您可以尝试以下方法来解决这个问题:
看执行过程 没有等待资源。正常执行,你把map和join阶段的并发加一些。https://help.aliyun.com/zh/maxcompute/user-guide/flag-parameters?spm=a2c4g.11186623.0.i6,此回答整理自钉群“MaxCompute开发者社区2群”
这种情况可能是由于多种原因造成的,以下是一些可能的因素:
资源不足:MaxCompute会根据用户的请求动态分配计算资源,如果此时系统中的资源比较紧张或者已经被其他用户占用,那么你的任务可能就需要等待一段时间才能开始执行。
任务较大:如果任务本身比较大,需要消耗较多的计算资源和时间,那么也可能导致等待资源的时间变长。
系统故障:在极少数情况下,可能存在系统故障或者其他异常情况导致任务无法正常开始执行。
为了进一步诊断问题,建议你检查以下几方面:
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。