请问出现这个提示:“您好,平台监测到,昨日调度系统调度的实例数量超出了您当前购买的最大容量,超量后DataWorks将无法保障响应速度及稳定性”
会代表发布的调度任务无法正常运行么?
不一定会导致调度任务无法正常运行,但可能会导致响应速度慢、稳定性降低、甚至出现调度失败等问题。建议您考虑购买更高容量的服务或者优化现有的调度任务,以确保DataWorks的稳定性和可靠性。
方便全屏截图看下这个提示吗 另外目前资源组规格和每天调用的实例数大概有多少呀
资源组不同规格支持同时运行的任务数不同 规格小 任务数多 就会按队列获取资源。此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks提供了三种资源组的能力:独享资源组、自定义资源组和默认资源组。
调度有三种资源组:默认、独享、自定义;DataWorks中的数据集成也有同样的三种资源组:默认、独享、自定义;数据集成的同步资源管理复用调度系统资源管理系统,在使用DataWorks的时候,如果需要使用数据集成任务,那么需要区分开调度和数据集成2种资源组的概念;
默认资源组是DataWorks在租户开始使用时候就给每个租户颁发的资源组了,租户内所有项目共享,不需要任何配置、操作就可以运行任务;
支持所有的任务类型,但不支持:
需要公网访问外部服务,且需要白名单的不支持; 需要访问VPC的任务不支持 需要访问公网的也不建议使用,建议切换其他资源组使用;
默认资源组最大调度资源是有固定分配的默认大小的;所有租户下项目共享,会存在项目之间的资源抢占,不能100%保障任务按时获得资源运行; 默认资源组是在平台的公共集群下的,所有租户都共享该集群资源,所以在高峰期会存在租户之间的资源抢占,不能100%保障任务按时获得资源运行;
目前DataWorks的独享资源组提供了2种:独享调度资源组和独享数据集成资源组。
可以将独享数据集成资源组理解为MaxCompute的计算资源概念,因为数据集成隶属于DataWorks产品内,所以在同步资源是跟调度资源在一起购买的;
独享目前不能支持跨租户节点、机器学习任务;其余支持 购买独享资源组的时候,务必要注意购买与自己VPC在同一个可用区 切换任务资源组的时候:
注意每种任务类型都需要测试验证:网络是否已经打通。
相对默认资源组,如果实例超过500个,独享资源会相对便宜很多;不收取实例费用,仅资源费用;
购买独享资源组
说明:一般按照实际的任务并发数来购买对应的资源数量,可以参考:https://help.aliyun.com/document_detail/125776.html?spm=a2c4g.11186623.6.573.20a87b75cx5tkl 里面的场景三 购买指引:https://help.aliyun.com/document_detail/121526.html?spm=a2c4g.11174283.6.641.4b1c2b65Y7CSE8
登录管控台:目前需要有主账户权限或者已经授权过的子账户 打开页面,点击“新增独享资源组”新增页面,选择“独享调度资源组”:点击购买链接,去购买:此处特别建议:至少购买2台(做容灾保障,Failover的能力)。
虚节点、工作流、机器学习等任务类型不要选择上,因为这些不支持资源组修改;
自定义调度资源组:企业版及以上,需要提工单白名单开放 自定义数据集成资源组:专业版及以上。
只能支持数据集成任务和shell任务。
自定义数据集成资源组,参考此处:https://help.aliyun.com/document_detail/136934.html?spm=a2c4g.11186623.6.719.8b745b35mv5nrp
以上仅供参考。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。