同步资源组是一种可以用于数据同步的资源组,而自定义资源组是一种可以用于调度任务的资源组。虽然它们的功能不同,但是同步资源组是可以使用自定义资源组的。
具体而言,如果需要将自定义资源组用于数据同步的场景,可以按照以下步骤进行操作:
登录DataWorks控制台,进入目标项目。
在项目管理页面中,选择左侧导航栏中的“数据集成”模块。
在数据集成页面中,选择需要进行数据同步的数据源和目的地。
在数据同步任务配置页面中,选择“同步资源组”选项,并选择需要使用的自定义资源组。
配置同步任务。在数据同步任务中,配置同步任务的源端、目的端、同步策略、同步频率等信息,并保存同步任务配置。
运行同步任务。在数据同步任务配置页面中,点击“启动任务”按钮,系统会自动根据配置启动同步任务,并在执行过程中监控和记录同步任务的运行状态和日志等信息。
在 DataWorks 中,同步资源组是一种用于数据同步任务的资源管理机制。不同于自定义资源组,同步资源组是由系统自动创建和管理的,并且与数据同步任务直接关联。
目前,DataWorks 并不支持直接使用自定义资源组来执行数据同步任务。数据同步任务需要选择系统预置的同步资源组,这些资源组由 DataWorks 管理并提供给用户使用。
当你创建一个数据同步任务时,在任务配置页面中,可以选择合适的同步资源组来执行该任务。根据任务的需求和所选的资源组类型,DataWorks 会自动分配相应的计算和存储资源,并进行任务调度和执行。
【自定义资源组】
在平台绑定一台ECS作为对应任务执行资源,可实现个性化场景实现或复杂网络同步需求。
【自定义调度资源组】
仅支持shell任务执行
版本限制:您需要开通DataWorks企业版及以上版本,才可以提交工单开放白名单,以使用自定义调度资源组。
【自定义数据集成资源组】
使用自定义数据集成资源组实现数据同步,需要您保障自定义资源组机器与数据库网络可达。
版本限制:您需要开通DataWorks专业版及以上版本,才可以使用自定义数据集成资源组。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。