开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks使用独享数据集成资源组的解决方案是什么?

DataWorks使用独享数据集成资源组的解决方案是什么?

展开
收起
真的很搞笑 2023-08-20 09:23:54 51 0
2 条回答
写回答
取消 提交回答
  • 使用同步解决方案进行数据同步时,数据集成操作运行在数据集成资源组实例和调度资源组实例上。其中数据集成资源组当前仅能使用独享数据集成资源组,因此,在进行数据同步前,您需要购买独享数据集成资源组,并将资源组添加至DataWorks中,便于后续数据集成任务关联使用。独享数据集成资源组的性能指标如下表。规格 离线同步最大并发线程数 实时同步最大任务数
    4c8g 8 3
    8c16g 16 6
    12c24g 24 9
    16c32g 32 12
    24c48g 48 18独享数据集成资源组计费标准。实际支付价格以订单页面为准。您可结合待同步的数据量估算并购买独享数据集成资源组,独享数据集成资源组的详细介绍可参见独享数据集成资源。任务调度可运行在公共调度资源组上,或运行在您已购买的独享调度资源组上。
    https://help.aliyun.com/document_detail/199008.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-20 13:02:43
    赞同 展开评论 打赏
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    DataWorks提供了独享资源模式,支持购买独享的机器资源来分配给工作空间运行任务。此模式下机器物理资源(网络/磁盘/CPU/内存等)完全独享,不单可以做到用户间资源使用的隔离,也可以做到不同工作空间任务使用资源的独立。此外,独享资源也支持灵活的扩容、缩容功能。可满足资源独享、灵活配置的需要。

    进入DataWorks管控台,在“资源列表”中,可以找到“独享资源”Tab,如下图所示:

    DataWorks独享资源采用预付费包年包月的方式购买。主要购买入口有以下两个: • 产品详情页入口 • 新建独享资源入口(见下文) 购买页如下图所示,请按照实际需要选择合适的地域、资源类型、规则、数量和有效时间。请特别注意独享资源不支持跨地域使用,即华东2(上海)地域的独享资源,只能给华东2(上海)地域的工作空间使用。

    在独享资源列表,点击“新增独享资源”按钮可新增独享资源。如图一所示。点击后,进行必要配置信息填写和选择:

    独享资源分为“独享调度资源”和“独享数据集成资源”两种,分别用于通用任务调度和数据集成同步任务专用。

    • 资源名称:用以区别资源的一个名称,租户唯一,请避免重复。

    • 资源备注:用以对资源进行简单描述。

    • 订单号:此处选择购买的独享资源订单,若尚未购买,可以点击“购买”链接跳转到售卖页进行购买。

    • 可用区:单个地域提供了不同机器的可用区,请按照需要进行选择即可。

    配置完成后点击创建即可新建出独享资源。独享资源环境初始化需要几分钟到十几分钟不等的时间,请耐心等待状态更新为“运行中”。

    独享资源创建完成之后,在列表中可以查看独享资源的基本信息和进行操作。

    到期时间:与独享资源购买订单中选定时间相关。指独享资源的有效期。到期前可以进行续费,若到期后未续费,状态会变成过期,独享资源不能被新任务使用;过期后可以进行激活,若超过七天为激活,独享资源会被释放。

    • 资源数:购买的资源个数。

    • 资源使用率:用以表达资源的使用水位情况,即负载,百分比。

    若独享资源使用率过高,不能满足实际使用需要,可以点击此按钮进行资源配置变更,调大资源数量来进行扩容:

    与缩容类似,当独享资源出现闲置不使用的情况,可以对资源进行缩容:

    点击“续费”按钮,可以延长独享资源的到期时间

    独享资源部署在DataWorks托管的专有网络(VPC)中,如果需要与您自己的专有网络(VPC)网络打通,需要进行专有网络绑定操作。点击“专有网络绑定”按钮,可以进入到“专有网络绑定”页面。需要注意的是,需要进行RAM授权,让DataWorks拥有对您的云资源相应的访问权限。

    RAM授权

    按提示操作,同意授权即可

    授权完成后,点击“新增绑定”可以添加一个新的专有网络绑定。请安要求配置必要信息:

    绑定成功后,如果信息发生变化。可以重新进行绑定,但当前暂不支持解绑。

    独享资源要被任务真正使用,需要绑定归属的工作空间。支持将一个独享组员分配给多个工作空间使用,如下图:

    独享资源绑定到工作空间之后,即可在工作空间中,配置将任务分配到特定的独享资源上使用。

    在任务高并发执行且无法错峰运行,需要独享的资源组来保障数据快速、稳定地传输时,您可以选择独享资源组。

    独享资源组机器资源由DataWorks维护,是自己的租户独享使用的计算资源。

    网络支持VPC、公网和任意网络下的阿里云产品。

    支持全部数据源,根据机器的规格,包年包月计费。

    独享资源组机器专属于自己的阿里云主账号,资源不会发生外界的资源抢占问题。

    每日调度实例>500时,多数情况下独享资源比共享资源组更省钱(预估期望每天8h完成任务,每个任务运行5min)(产出时间越宽裕越省、任务平均运行时间越低越省、并发要求越低越省)

    2023-08-20 09:43:16
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载

    相关实验场景

    更多