DataWorks中独享调度资源组如何使用?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks提供了独享资源模式,支持购买独享的机器资源来分配给工作空间运行任务。此模式下机器物理资源(网络/磁盘/CPU/内存等)完全独享,不单可以做到用户间资源使用的隔离,也可以做到不同工作空间任务使用资源的独立。此外,独享资源也支持灵活的扩容、缩容功能。可满足资源独享、灵活配置的需要。
DataWorks提供了三种资源组的能力:独享资源组、自定义资源组和默认资源组,
正在使用默认资源组,任务经常要等待 2.购买错了资源组类型(独享数据集成资源组与独享调度资源组),使用不了 3.购买错了地域(杭州开通DataWorks购买了北京的资源组) 4.没买错资源组类型,也没买错地域,当天还是用不了
调度有三种资源组:默认、独享、自定义;DataWorks中的数据集成也有同样的三种资源组:默认、独享、自定义;数据集成的同步资源管理复用调度系统资源管理系统,在使用DataWorks的时候,如果需要使用数据集成任务,
目前DataWorks的独享资源组提供了2种:独享调度资源组和独享数据集成资源组,在此处为了更好的理解为什么需要2种资源组的方式,可以将独享数据集成资源组理解为MaxCompute的计算资源概念,因为数据集成隶属于DataWorks产品内,所以在同步资源是跟调度资源在一起购买的;
独享目前不能支持跨租户节点、机器学习任务;其余支持 购买独享资源组的时候,务必要注意购买与自己VPC在同一个可用区 切换任务资源组的时候:
注意每种任务类型都需要测试验证:网络是否已经打通。
独享调度资源组需要绑定归属的工作空间,才可以在对应的工作空间下选择该资源组。一个独享调度资源组可以分配给多个工作空间使用:在资源组列表 > 独享资源组页面,单击相应资源组后的修改归属工作空间。在修改归属对话框中,选中分配独享调度资源组的目标工作空间。单击确定。绑定归属工作空间。独享调度资源组需要绑定归属的工作空间,才可以在对应的工作空间下选择该资源组。一个独享调度资源组可以分配给多个工作空间使用:在资源组列表 > 独享资源组页面,单击相应资源组后的修改归属工作空间。在修改归属对话框中,选中分配独享调度资源组的目标工作空间。单击确定。修改在数据开发页面测试任务使用的资源组:在数据开发页面,双击打开相应节点的编辑页面。单击工具栏中的 图标。在参数对话框中,选择测试运行使用的调度资源组。单击确定。修改调度运行使用的调度资源组。您可以通过调度配置和运维中心页面修改调度资源组:通过调度配置页面修改调度资源组:单击左上角的
图标,选择全部产品 > 数据开发 > DataStudio(数据开发),并切换至修改的归属工作空间。在数据开发面板,双击打开相应节点的编辑页面。单击右侧的调度配置,在资源属性区域选择任务调度运行时需要使用的资源组。详情请参见配置资源属性。
通过运维中心页面修改调度资源组:单击左上角的
图标,选择全部产品 > 任务运维 > 运维中心(工作流),进入运维中心页面,并切换至修改的归属工作空间。在左侧导航栏,单击周期任务运维 > 周期任务。单击页面中间的箭头展开任务列表后,单击相应周期任务后的更多 > 修改资源组。https:/ https://help.aliyun.com/document_detail/164918.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。