开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中同步资源组能使用自定义资源组吗?

DataWorks中同步资源组能使用自定义资源组吗?

展开
收起
真的很搞笑 2023-07-16 14:12:49 56 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    同步资源组是一种可以用于数据同步的资源组,而自定义资源组是一种可以用于调度任务的资源组。虽然它们的功能不同,但是同步资源组是可以使用自定义资源组的。

    具体而言,如果需要将自定义资源组用于数据同步的场景,可以按照以下步骤进行操作:

    登录DataWorks控制台,进入目标项目。
    在项目管理页面中,选择左侧导航栏中的“数据集成”模块。
    在数据集成页面中,选择需要进行数据同步的数据源和目的地。
    在数据同步任务配置页面中,选择“同步资源组”选项,并选择需要使用的自定义资源组。
    配置同步任务。在数据同步任务中,配置同步任务的源端、目的端、同步策略、同步频率等信息,并保存同步任务配置。
    运行同步任务。在数据同步任务配置页面中,点击“启动任务”按钮,系统会自动根据配置启动同步任务,并在执行过程中监控和记录同步任务的运行状态和日志等信息。

    2023-07-21 19:39:03
    赞同 展开评论 打赏
  • 在 DataWorks 中,同步资源组是一种用于数据同步任务的资源管理机制。不同于自定义资源组,同步资源组是由系统自动创建和管理的,并且与数据同步任务直接关联。

    目前,DataWorks 并不支持直接使用自定义资源组来执行数据同步任务。数据同步任务需要选择系统预置的同步资源组,这些资源组由 DataWorks 管理并提供给用户使用。

    当你创建一个数据同步任务时,在任务配置页面中,可以选择合适的同步资源组来执行该任务。根据任务的需求和所选的资源组类型,DataWorks 会自动分配相应的计算和存储资源,并进行任务调度和执行。

    2023-07-18 10:04:08
    赞同 展开评论 打赏
  • 【自定义资源组】
    在平台绑定一台ECS作为对应任务执行资源,可实现个性化场景实现或复杂网络同步需求。

    【自定义调度资源组】
    仅支持shell任务执行
    版本限制:您需要开通DataWorks企业版及以上版本,才可以提交工单开放白名单,以使用自定义调度资源组。

    【自定义数据集成资源组】
    使用自定义数据集成资源组实现数据同步,需要您保障自定义资源组机器与数据库网络可达。
    版本限制:您需要开通DataWorks专业版及以上版本,才可以使用自定义数据集成资源组。,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-16 14:21:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多