使用同步解决方案进行数据同步时,数据集成操作运行在数据集成资源组实例和调度资源组实例上。其中数据集成资源组当前仅能使用独享数据集成资源组,因此,在进行数据同步前,您需要购买独享数据集成资源组,并将资源组添加至DataWorks中,便于后续数据集成任务关联使用。独享数据集成资源组的性能指标如下表。规格 离线同步最大并发线程数 实时同步最大任务数
4c8g 8 3
8c16g 16 6
12c24g 24 9
16c32g 32 12
24c48g 48 18独享数据集成资源组计费标准。实际支付价格以订单页面为准。您可结合待同步的数据量估算并购买独享数据集成资源组,独享数据集成资源组的详细介绍可参见独享数据集成资源。任务调度可运行在公共调度资源组上,或运行在您已购买的独享调度资源组上。
https://help.aliyun.com/document_detail/199008.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks提供了独享资源模式,支持购买独享的机器资源来分配给工作空间运行任务。此模式下机器物理资源(网络/磁盘/CPU/内存等)完全独享,不单可以做到用户间资源使用的隔离,也可以做到不同工作空间任务使用资源的独立。此外,独享资源也支持灵活的扩容、缩容功能。可满足资源独享、灵活配置的需要。
进入DataWorks管控台,在“资源列表”中,可以找到“独享资源”Tab,如下图所示:
DataWorks独享资源采用预付费包年包月的方式购买。主要购买入口有以下两个: • 产品详情页入口 • 新建独享资源入口(见下文) 购买页如下图所示,请按照实际需要选择合适的地域、资源类型、规则、数量和有效时间。请特别注意独享资源不支持跨地域使用,即华东2(上海)地域的独享资源,只能给华东2(上海)地域的工作空间使用。
在独享资源列表,点击“新增独享资源”按钮可新增独享资源。如图一所示。点击后,进行必要配置信息填写和选择:
独享资源分为“独享调度资源”和“独享数据集成资源”两种,分别用于通用任务调度和数据集成同步任务专用。
• 资源名称:用以区别资源的一个名称,租户唯一,请避免重复。
• 资源备注:用以对资源进行简单描述。
• 订单号:此处选择购买的独享资源订单,若尚未购买,可以点击“购买”链接跳转到售卖页进行购买。
• 可用区:单个地域提供了不同机器的可用区,请按照需要进行选择即可。
配置完成后点击创建即可新建出独享资源。独享资源环境初始化需要几分钟到十几分钟不等的时间,请耐心等待状态更新为“运行中”。
独享资源创建完成之后,在列表中可以查看独享资源的基本信息和进行操作。
到期时间:与独享资源购买订单中选定时间相关。指独享资源的有效期。到期前可以进行续费,若到期后未续费,状态会变成过期,独享资源不能被新任务使用;过期后可以进行激活,若超过七天为激活,独享资源会被释放。
• 资源数:购买的资源个数。
• 资源使用率:用以表达资源的使用水位情况,即负载,百分比。
若独享资源使用率过高,不能满足实际使用需要,可以点击此按钮进行资源配置变更,调大资源数量来进行扩容:
与缩容类似,当独享资源出现闲置不使用的情况,可以对资源进行缩容:
点击“续费”按钮,可以延长独享资源的到期时间
独享资源部署在DataWorks托管的专有网络(VPC)中,如果需要与您自己的专有网络(VPC)网络打通,需要进行专有网络绑定操作。点击“专有网络绑定”按钮,可以进入到“专有网络绑定”页面。需要注意的是,需要进行RAM授权,让DataWorks拥有对您的云资源相应的访问权限。
RAM授权
按提示操作,同意授权即可
授权完成后,点击“新增绑定”可以添加一个新的专有网络绑定。请安要求配置必要信息:
绑定成功后,如果信息发生变化。可以重新进行绑定,但当前暂不支持解绑。
独享资源要被任务真正使用,需要绑定归属的工作空间。支持将一个独享组员分配给多个工作空间使用,如下图:
独享资源绑定到工作空间之后,即可在工作空间中,配置将任务分配到特定的独享资源上使用。
在任务高并发执行且无法错峰运行,需要独享的资源组来保障数据快速、稳定地传输时,您可以选择独享资源组。
独享资源组机器资源由DataWorks维护,是自己的租户独享使用的计算资源。
网络支持VPC、公网和任意网络下的阿里云产品。
支持全部数据源,根据机器的规格,包年包月计费。
独享资源组机器专属于自己的阿里云主账号,资源不会发生外界的资源抢占问题。
每日调度实例>500时,多数情况下独享资源比共享资源组更省钱(预估期望每天8h完成任务,每个任务运行5min)(产出时间越宽裕越省、任务平均运行时间越低越省、并发要求越低越省)
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。