临时查询跑数一直是正在等待云端gateway资源,这个是为啥呢?
在DataWorks中,临时查询通常是通过交互式分析(Interactive Analytics)实现的。当提交一个交互式分析任务时,DataWorks会根据资源池的配置来分配资源,包括计算资源和存储资源等。而 "正在等待云端gateway资源" 的提示通常是由于资源不足导致的,即DataWorks无法分配足够的资源来执行该任务。
这种情况下,可以尝试以下几个方法:
调整资源池的配置:可以根据实际需要调整资源池的配置,例如增加计算资源和存储资源等。
减少任务的负载:可以尝试减少任务的负载,例如缩小查询范围、减少查询结果的大小等。
调整任务的优先级:可以尝试调整任务的优先级,将该任务的优先级降低,让其他任务先执行,等待资源空闲后再重新提交该任务。
联系DataWorks技术支持:如果以上方法都无效,可以联系DataWorks技术支持人员进行咨询和解决。
需要注意的是,交互式分析通常需要较高的计算和存储资源,因此在使用交互式分析功能时,需要合理规划资源,并根据实际情况进行调整。
"【排查案例一:生产任务等待调度资源gateway】 背景:
运维中心大量生产任务在等待调度资源,日志显示“任务并发数已达上限,正在等待在云端的gateway资源...”,但是找不到在运行中的任务,阻塞业务。
排查:
1)确认调度资源组类型: 公共:租户级别下(该租户所有region所有项目),公共资源组支持的并发数有限制,参见官方文档 独享:规格参见官方文档 自定义:参见官方文档 2)DataWorks专业版以上运行诊断功能可以直接找到占用资源任务。 3)非专业版以上,使用该资源组的所有region、所有项目按运行状态“运行中”过滤筛选。 4)排查这些运行中的任务迟迟不释放资源的原因,查看日志。
如果是离线同步任务,大概率是二级数据集成同步资源槽位不够,任务一直在等待同步资源(detail log日志中长时间打印wait)(大概率原因)。 如果是odps sql等计算任务,日志打印queue说明任务在等待计算资源,或logview中长尾数据倾斜导致计算慢需联系MaxCompute或对应计算引擎同学。 解决:
1)终止优先级低占用调度资源的任务,让重要的任务先跑。 2)公共资源组上的任务迁移独享后补数据跑。 3)独享资源组扩容。 【资源组使用率】 控制台-资源组列表-使用率点击进去
此答案整理自钉群“DataWorks交流群(答疑@机器人)”"
这可能是由于云端gateway资源已经被其他任务占用,导致您的临时查询无法立即获得资源。您可以等待一段时间,或者尝试在非高峰时段进行查询以获得更好的资源利用率。
当您在 DataWorks 中运行临时查询跑数时,如果出现 "正在等待云端 gateway 资源" 的状态,可能是由以下几个原因导致的:
资源不足:DataWorks 使用了一种基于资源池的调度模型,其中包含了多种类型的资源,如计算资源、存储资源等。如果当前的资源池中某一类型的资源不足,可能会导致临时查询跑数无法立即获得足够的资源来执行。这时,您需要等待资源池中的资源释放或者联系阿里云技术支持进行资源调整。
并发请求较多:如果当前 DataWorks 系统中存在较多的临时查询跑数或其他任务在运行,可能会导致资源竞争,从而导致您的临时查询跑数等待资源的时间较长。您可以尝试等待一段时间,待系统资源释放后再次尝试运行临时查询跑数。
系统维护或异常:在某些情况下,DataWorks 可能会进行系统维护或者遇到异常情况,导致临时查询跑数无法立即获取到资源。这时,您可以稍后再次尝试运行临时查询跑数,或者联系阿里云技术支持进行排查和解决。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。