开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks购买及使用独享调度资源组?

DataWorks购买及使用独享调度资源组?

展开
收起
真的很搞笑 2023-08-08 16:08:19 68 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks中的独享调度资源组主要有以下特点:

    完全独享:
    所有资源(如MR、Spark等任务节点)完全独享给该资源组下的工作空间使用,不与其他工作空间共享。

    资源配额:
    可以为独享资源组设置CPU、内存及并发任务数的配额限制,防止个别大作业使用全部资源。

    预留资源:
    可以设置资源预留,保证关键任务优先获得执行资源。

    隔离性强:
    有效隔离同一DataWorks实例下不同工作空间的任务,防止资源争抢。

    一键扩容:
    可以随时增加或减少独享资源组内的节点,实现一键扩容。

    有助于计费:
    独享资源组的计费更准确,按实际资源消耗单独计费。

    易于监控:
    可以更方便地监控独享资源组内资源使用情况。

    高可用:
    独享资源组内的节点高可用部署,提高任务的失败容忍性。

    所以,如果您的工作空间对资源有较高的隔离性要求,
    或者需要更方便的扩容监控等能力,推荐使用独享资源组:

    同时也需要根据实际任务对CPU、内存和并发任务数量的需求,
    选择最合适的规格独享资源组。

    在DataWorks控制台,可以在"计算资源->资源组"访问独享资源组。

    2023-08-09 15:03:14
    赞同 展开评论 打赏
  • 如果您暂无连通数据库实例的需求,只是为了缓解因公共调度资源组的资源紧张,导致任务延迟的问题,请忽略本文涉及网络的问题。您可以购买任意可用区的独享调度资源组,且无需绑定专有网络。注意独享调度资源组访问VPC环境数据源时,独享调度资源组需要绑定数据源所在VPC,绑定该VPC下任意一个交换机后,会自动添加路由至整个VPC网段,实现独享调度资源组在该VPC下网络可达。如果目的端数据库有白名单访问限制,走公网,您需要添加调度资源组的EIP地址,走内网,您需要添加独享调度资源组绑定的交换机网段至数据库的白名单和安全组。详情请参见添加独享调度资源组白名单。独享调度资源组对应规格支持的最大并发运行实例数,请参见独享调度资源组的性能指标和计费标准。
    https://help.aliyun.com/document_detail/164918.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-08 23:44:43
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载