DataWorks创建独享数据集成资源、独享调度资源组的功能有哪些?
功能介绍
独享数据集成资源组的功能亮点如下:
支持复杂网络环境下的数据同步。例如,跨云环境(金融云、政务云等)、跨阿里云账号、本地IDC数据同步。
具有丰富的产品能力:
支持离线数据同步。例如,增量与全量数据同步,单表及分库分表数据同步。详情请参见离线同步能力说明。
支持实时数据同步。例如,单表实时数据同步、整库实时数据同步。详情请参见实时同步能力说明。
提供一系列同步解决方案。例如,整库离线数据同步,单表或整库全增量实时数据同步。详情请参见同步解决方案能力说明。
在任务高并发执行且无法错峰运行的情况下,需要专有的计算资源来保障任务定时被调度运行时,建议您选择使用DataWorks的独享调度资源组。本文为您概要介绍独享调度资源组。
适用场景
对任务时效性要求高,避免公共资源组资源争抢导致任务延时。
需要灵活调整资源组大小。
需要访问公网地址、VPC、IDC。
需要通过IP白名单进行访问控制。
DataWorks某些任务类型仅支持独享资源组,包括EMR、CDH、ADB等。
创建独享数据集成资源和独享调度资源组是DataWorks提供的高级功能,旨在提高任务的性能和可靠性的稳定性。
以下是创建独享数据集成资源组和独享调度资源组的具体步骤:
DataWorks的独享数据集成资源组和独享调度资源组各自具有其独特的功能。独享数据集成资源组的主要作用是保障数据同步实例能够快速且稳定地传输数据,特别是在复杂的网络环境下。而独享调度资源组则主要用于保障可以同时运行的数据同步实例的数量。
当需要购买这些资源时,首先需要登录DataWorks控制台,并在左侧导航栏中单击工作空间列表。接着,选择相应的工作空间,并单击"快速进入 > 数据开发"。在数据开发页面中,双击打开相应节点的编辑页面,最后在右侧的调度配置中进行购买操作。购买之后,除了上述操作流程外,还需要进行如网络绑定、白名单等配置操作。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。