开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

使用dataworks的数据集成的时一定要使用独享调度资源和独享集成资源吗?

客户的服务器已经ecs上,现在客户想构建数仓,使用dataworks的数据集成的时一定要使用独享调度资源和独享集成资源吗?可以是用公共资源组吗?

展开
收起
真的很搞笑 2023-12-03 16:32:31 32 0
5 条回答
写回答
取消 提交回答
  • 建议还是使用独享啊,稳定性更好。

    数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。https://help.aliyun.com/zh/dataworks/user-guide/overview-6?spm=a2c4g.11186623.0.i92

    2023-12-05 12:36:54
    赞同 展开评论 打赏
  • 使用DataWorks的数据集成时,不一定需要使用独享调度资源和独享集成资源。您可以根据实际需求选择使用公共资源组或独享资源。

    如果您的客户已经拥有ECS服务器,并且希望构建数仓,您可以选择使用公共资源组来执行数据集成任务。公共资源组是DataWorks提供的一种资源共享方式,可以与其他用户共享计算资源,适用于一些轻量级的任务或小规模的数据处理。

    然而,对于大规模的数据处理或对性能要求较高的任务,建议使用独享调度资源和独享集成资源。这样可以确保您的任务在特定的计算节点上运行,避免与其他用户竞争资源,提高任务的执行效率和稳定性。

    总之,您可以根据具体的需求和预算情况选择合适的资源类型来使用DataWorks的数据集成功能。

    2023-12-05 10:06:54
    赞同 展开评论 打赏
  • 部分数据源仅支持独享数据集成资源组会在文档上标注哈 不过建议使用独享 公共集成资源组快要下线了;调度资源组可以使用公共 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-03 22:53:05
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    使用DataWorks的数据集成功能,您可以选择使用公共资源组或独享资源。公共资源组是DataWorks在开通时自动为您提供的,包括公共调度资源组、公共数据集成(调试)资源组和公共数据服务资源组。这些资源可以用于数据开发、运行测试等场景。

    然而,如果您的客户希望构建数仓并且服务器已经在ECS上,那么独享数据集成资源组可能是更好的选择。独享数据集成资源组具有以下功能亮点:

    1. 支持复杂网络环境下的数据同步,例如跨云环境(金融云、政务云等)、跨阿里云账号、本地IDC数据同步。
    2. 可以解决DataWorks公共资源组与您的数据源无法连通的问题,实现更高速的传输。
    2023-12-03 17:06:36
    赞同 展开评论 打赏
  • 在使用DataWorks进行数据集成时,并不一定需要使用独享调度资源和独享集成资源,可以选择使用公共资源组。以下是相关的说明:

    1. 公共资源组:DataWorks提供了公共资源组,作为资源共享的方式。在公共资源组中,多个租户共享一些资源,例如调度资源和集成资源。对于小型项目或者资源需求较少的情况,使用公共资源组可以满足基本需求。

    2. 独享调度资源:当项目或任务对调度资源有特殊需求,例如高并发、大量任务等,可以选择使用独享调度资源。独享调度资源可以为您的任务提供更强的资源保障和性能。

    3. 独享集成资源:如果项目中的数据集成任务对资源要求较高(如数据量大、复杂计算等),可以选择使用独享集成资源。独享集成资源可以提供更高的处理能力和稳定性,以满足大规模数据集成任务的要求。

    综上所述,客户可以根据自身项目需求和预算来选择适合的资源类型。如果项目规模较小且资源需求较低,公共资源组可能足够满足需求;如果项目规模较大且对资源有特殊要求,可以考虑使用独享调度资源和独享集成资源。

    2023-12-03 16:43:53
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    阿里邮箱—安全高效集成 立即下载
    集成智能接入网关APP:优化企业级移动办公网络 立即下载
    云效助力企业集成安全到DevOps中 立即下载

    相关实验场景

    更多