开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks不同资源组,数据集成任务,配置了独享集成资源组,为什么在公共调度资源组也会存在呢?

DataWorks不同资源组,数据集成任务,配置了独享集成资源组,为什么在公共调度资源组也会存在呢?

展开
收起
真的很搞笑 2023-12-30 13:47:30 67 0
3 条回答
写回答
取消 提交回答
  • 在阿里云DataWorks中,数据集成任务可以根据需要配置为使用公共资源组或独享资源组。如果配置了独享数据集成资源组,意味着该任务将会使用专属的计算和存储资源,以保证性能和稳定性。

    然而,即使你配置了独享资源组,在公共调度资源组中仍然可能存在与该任务相关的调度记录或状态信息,这是因为:

    1. 调度统一管理
      公共调度资源组负责所有任务的调度逻辑,包括触发任务、监控任务执行状态等,所以即使实际运行任务时采用的是独享资源组,其调度信息仍会体现在公共调度资源组中。

    2. 计费独立但调度统一
      虽然独享资源组提供了专享的计算资源,但在任务调度层面,仍然是由公共调度服务来控制任务何时开始执行,并跟踪整个执行过程。

    3. 任务依赖和链路追踪
      如果你的工作流中有多个任务相互依赖,那么这些任务的调度信息都会被记录在公共调度资源组中,以便进行整体的任务管理和监控。

    即使数据集成任务配置了独享资源组,由于调度的统一性以及任务管理的全局视图,它们的相关信息也会出现在公共调度资源组中,但实际的数据处理和计算是通过独享资源组完成的。

    2023-12-30 18:16:11
    赞同 展开评论 打赏
  • 调度资源组是所有离线任务(离线同步 离线计算等)都需要的资源 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-30 17:25:47
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,数据集成任务可以配置独享集成资源组和公共调度资源组。如果一个数据集成任务同时配置了独享集成资源组和公共调度资源组,那么该任务将会同时存在于这两个资源组中。

    这是因为,独享集成资源组主要用于执行数据集成任务的计算和存储操作,而公共调度资源组则用于控制任务的调度和运行。因此,即使一个数据集成任务已经配置了独享集成资源组,它仍然需要在公共调度资源组中进行调度和管理。

    需要注意的是,当一个数据集成任务同时存在于多个资源组中时,它的计算和存储资源将由独享集成资源组提供,而调度和管理资源则由公共调度资源组提供。这样可以确保数据集成任务能够高效地执行,并且能够得到有效的管理和监控。

    2023-12-30 16:00:15
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载