开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问一下,DataWorks中数据集成如何设置公共资源!

请问一下,DataWorks中数据集成如何设置公共资源image.png

展开
收起
cuicuicuic 2023-05-07 19:47:35 137 0
2 条回答
写回答
取消 提交回答
  • 十年摸盘键,代码未曾试。 今日码示君,谁有上云事。

    DataWorks支持公共资源组、独享资源组,开通DataWorks时,DataWorks默认为您提供按量付费的公共资源组,同时,支持您购买包年包月独享资源组,或者升级DataWorks增值版本,将您的IDC机器作为DataWorks任务运行的相关资源组,

    不同类型的资源组用于任务不同的执行阶段,本文以离线任务调度为例,为您介绍DataWorks离线任务下发机制,与任务运行过程中使用的资源组。

    任务同一个执行阶段可选择不同类型的资源组,例如,离线任务调度可选择包年包月独享调度资源组,或按量付费公共调度资源组,数据集成离线任务执行可选择包年包月独享数据集成资源组,

    DataWorks包括独享资源组、公共资源组,各资源组根据任务调度、数据集成、数据服务等不同的使用场景,细分为不同类型的资源组,包括:独享调度资源组、独享数据集成资源组、独享数据服务资源组、公共调度资源组、公共数据服务资源组。其中,DataWorks的调度资源组用于保障任务的调度运行,数据集成资源组用于保障数据集成任务中的数据传输。 数据服务资源组用于保障API的调用。

    DataWorks的离线任务通过调度资源组下发至各引擎或服务器资源上执行。例如,DataWorks通过调度资源组将任务下发至MaxCompute引擎上执行。数据集成离线同步任务通过调度资源组将任务下发至数据集成任务执行资源上执行。

    公共数据服务资源组为租户共享资源。在对数据服务API进行高并发、高频率的接口调用并需要及时返回数据结果的情况下,企业需要专有的计算资源来保障数据服务的可用性和稳定性。此种场景下建议您选择DataWorks的独享数据服务资源组。具体计费详情,请参见独享数据集成资源组计费说明:包年包月和公共调度资源组计费说明:按量付费。

    2023-05-08 12:52:49
    赞同 1 展开评论 打赏
  • 调试资源组就是公共资源组,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-07 20:49:29
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载