开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问出现这个提示:“您好,平台监测到,昨日调度系统调度的实例数量超出了您当前购买的最大容量,超量后D

请问出现这个提示:“您好,平台监测到,昨日调度系统调度的实例数量超出了您当前购买的最大容量,超量后DataWorks将无法保障响应速度及稳定性”

会代表发布的调度任务无法正常运行么? lQLPJxc_lOEluJhfzQX9sPLXYILwHcO2BBtbhFzAhQA_1533_95.png

展开
收起
十一0204 2023-04-05 05:53:20 360 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    不一定会导致调度任务无法正常运行,但可能会导致响应速度慢、稳定性降低、甚至出现调度失败等问题。建议您考虑购买更高容量的服务或者优化现有的调度任务,以确保DataWorks的稳定性和可靠性。

    2023-04-25 23:45:56
    赞同 展开评论 打赏
  • 意中人就是我呀!

    方便全屏截图看下这个提示吗 另外目前资源组规格和每天调用的实例数大概有多少呀
    资源组不同规格支持同时运行的任务数不同 规格小 任务数多 就会按队列获取资源。此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-05 12:54:18
    赞同 展开评论 打赏
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    DataWorks提供了三种资源组的能力:独享资源组、自定义资源组和默认资源组。

    调度有三种资源组:默认、独享、自定义;DataWorks中的数据集成也有同样的三种资源组:默认、独享、自定义;数据集成的同步资源管理复用调度系统资源管理系统,在使用DataWorks的时候,如果需要使用数据集成任务,那么需要区分开调度和数据集成2种资源组的概念;

    默认资源组是DataWorks在租户开始使用时候就给每个租户颁发的资源组了,租户内所有项目共享,不需要任何配置、操作就可以运行任务;

    支持所有的任务类型,但不支持:

    需要公网访问外部服务,且需要白名单的不支持; 需要访问VPC的任务不支持 需要访问公网的也不建议使用,建议切换其他资源组使用;

    默认资源组最大调度资源是有固定分配的默认大小的;所有租户下项目共享,会存在项目之间的资源抢占,不能100%保障任务按时获得资源运行; 默认资源组是在平台的公共集群下的,所有租户都共享该集群资源,所以在高峰期会存在租户之间的资源抢占,不能100%保障任务按时获得资源运行;

    目前DataWorks的独享资源组提供了2种:独享调度资源组和独享数据集成资源组。

    可以将独享数据集成资源组理解为MaxCompute的计算资源概念,因为数据集成隶属于DataWorks产品内,所以在同步资源是跟调度资源在一起购买的;

    独享目前不能支持跨租户节点、机器学习任务;其余支持 购买独享资源组的时候,务必要注意购买与自己VPC在同一个可用区 切换任务资源组的时候:

    注意每种任务类型都需要测试验证:网络是否已经打通。

    相对默认资源组,如果实例超过500个,独享资源会相对便宜很多;不收取实例费用,仅资源费用;

    购买独享资源组

    说明:一般按照实际的任务并发数来购买对应的资源数量,可以参考:https://help.aliyun.com/document_detail/125776.html?spm=a2c4g.11186623.6.573.20a87b75cx5tkl 里面的场景三 购买指引:https://help.aliyun.com/document_detail/121526.html?spm=a2c4g.11174283.6.641.4b1c2b65Y7CSE8

    登录管控台:目前需要有主账户权限或者已经授权过的子账户 打开页面,点击“新增独享资源组”新增页面,选择“独享调度资源组”:点击购买链接,去购买:此处特别建议:至少购买2台(做容灾保障,Failover的能力)。

    虚节点、工作流、机器学习等任务类型不要选择上,因为这些不支持资源组修改;

    自定义调度资源组:企业版及以上,需要提工单白名单开放 自定义数据集成资源组:专业版及以上。

    只能支持数据集成任务和shell任务。

    自定义数据集成资源组,参考此处:https://help.aliyun.com/document_detail/136934.html?spm=a2c4g.11186623.6.719.8b745b35mv5nrp

    以上仅供参考。

    2023-04-05 09:04:28
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载