开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问dataworks配置的调度资源组有什么功能?

请问dataworks配置的调度资源组有什么功能?

展开
收起
哒哒哒哒哒~ 2023-03-08 11:10:58 311 0
3 条回答
写回答
取消 提交回答
  • 自定义调度资源组为您提供增加并发调度任务数量的能力,自定义任务资源组为您提供自由扩展数据同步速度的能力。您需要购买自有ECS服务器,才能使用自定义调度资源组和自定义任务资源组。购买ECS服务器请进入ECS售卖页。自定义资源组和独享资源组的差异如下:自定义资源组的机器完全可控、可登录访问,但需要您自行运维。独享资源组的运维完全托管于系统,系统提供可用保障,您无需担心机器服务等问题。调度资源组用于执行或分发调度系统下发的任务,DataWorks的调度资源组包括公共调度资源组和自定义调度资源组。说明 默认情况下,您提交的调度任务均会运行在DataWorks提供的公共调度资源组上。对于单个用户来说,公共资源组中的调度能力不能无限量承载不断增加的并发调度任务量。如果调度的任务瞬时并发数量过多,则会出现资源等待的情况,导致任务调度实际运行时间延迟。如果您想要拥有更强的调度能力,请购买ECS配置自定义调度资源组。自定义资源组在使用、配置文件、命令等方面的常见问题和解决方案,请参见自定义资源组。 此答案整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-09 09:34:25
    赞同 展开评论 打赏
    • 公共资源组:开通DataWorks时自动提供的资源组,为所有租户共享。
    • 独享数据集成资源组:平台托管类型资源组,购买后具有独立使用权。适用于数据集成任务高并发执行且无法错峰运行的场景下购买。
    • 独享调度资源组:购买后拥有独立使用权。适用于任务高并发执行且无法错峰运行的场景下购买。
    • 独享数据服务资源组:适用于在对数据服务API进行高并发、高频率的接口调用并需要及时返回数据结果的情况下购买。
    • 自定义资源组:可将富余服务器资源作为DataWorks任务运行的资源组使用。# DataWorks资源组概述
    2023-03-08 13:23:05
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks包括独享资源组、公共资源组,各资源组根据任务调度、数据集成、数据服务等不同的使用场景,细分为不同类型的资源组,包括:独享调度资源组、独享数据集成资源组、独享数据服务资源组、公共调度资源组、公共数据服务资源组。其中,DataWorks的调度资源组用于保障任务的调度运行,数据集成资源组用于保障数据集成任务中的数据传输。 数据服务资源组用于保障API的调用。。

    2023-03-08 13:21:42
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载