开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks创建独享数据集成资源、独享调度资源组的功能有哪些?

DataWorks创建独享数据集成资源、独享调度资源组的功能有哪些?

展开
收起
真的很搞笑 2023-11-20 07:51:00 62 0
3 条回答
写回答
取消 提交回答
  • 独享数据集成资源组https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-data-integration?spm=a2c4g.11186623.0.i144

    功能介绍
    独享数据集成资源组的功能亮点如下:
    支持复杂网络环境下的数据同步。例如,跨云环境(金融云、政务云等)、跨阿里云账号、本地IDC数据同步。
    具有丰富的产品能力:
    支持离线数据同步。例如,增量与全量数据同步,单表及分库分表数据同步。详情请参见离线同步能力说明。
    支持实时数据同步。例如,单表实时数据同步、整库实时数据同步。详情请参见实时同步能力说明。
    提供一系列同步解决方案。例如,整库离线数据同步,单表或整库全增量实时数据同步。详情请参见同步解决方案能力说明。

    独享调度资源组https://help.aliyun.com/zh/dataworks/product-overview/exclusive-resource-groups-for-scheduling?spm=a2c4g.11186623.0.i149

    在任务高并发执行且无法错峰运行的情况下,需要专有的计算资源来保障任务定时被调度运行时,建议您选择使用DataWorks的独享调度资源组。本文为您概要介绍独享调度资源组。

    适用场景
    对任务时效性要求高,避免公共资源组资源争抢导致任务延时。

    需要灵活调整资源组大小。

    需要访问公网地址、VPC、IDC。

    需要通过IP白名单进行访问控制。

    DataWorks某些任务类型仅支持独享资源组,包括EMR、CDH、ADB等。

    2023-11-20 14:08:52
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    创建独享数据集成资源和独享调度资源组是DataWorks提供的高级功能,旨在提高任务的性能和可靠性的稳定性。

    • 独享数据集成资源组:这是一种专有的数据集成计算及存储资源组合,可以让多个用户共同分享一套专属的集群资源,并使数据集成任务在同一时间内得到更高的性能和更可靠的稳定性。
    • 独享调度资源组:这是专门为特定的任务或项目单独占用的一组专用计算资源,可以确保任务的高可用性和高性能。

    以下是创建独享数据集成资源组和独享调度资源组的具体步骤:

    • 创建独享数据集成资源组:
      1. 登录DataWorks控制台,进入“运维中心” > “资源管理”页面。
      2. 单击“新建资源”按钮,选择“独享数据集成资源组”,然后填写相关信息。
      3. 点击“立即购买”,支付相应的费用。
      4. 完成购买后,即可使用新的独享数据集成资源组了。
    • 创建独享调度资源组:
      1. 登录DataWorks控制台,进入“运维中心” > “资源管理”页面。
      2. 单击“新建资源”按钮,选择“独享调度资源组”,然后填写相关信息。
      3. 点击“立即购买”,支付相应的费用。
      4. 完成购买后,即可使用新的独享调度资源组了。
    2023-11-20 13:46:51
    赞同 展开评论 打赏
  • DataWorks的独享数据集成资源组和独享调度资源组各自具有其独特的功能。独享数据集成资源组的主要作用是保障数据同步实例能够快速且稳定地传输数据,特别是在复杂的网络环境下。而独享调度资源组则主要用于保障可以同时运行的数据同步实例的数量。

    当需要购买这些资源时,首先需要登录DataWorks控制台,并在左侧导航栏中单击工作空间列表。接着,选择相应的工作空间,并单击"快速进入 > 数据开发"。在数据开发页面中,双击打开相应节点的编辑页面,最后在右侧的调度配置中进行购买操作。购买之后,除了上述操作流程外,还需要进行如网络绑定、白名单等配置操作。

    2023-11-20 09:38:44
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载