开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何判断自己需要多大的独享资源组?

DataWorks如何判断自己需要多大的独享资源组?

展开
收起
真的很搞笑 2023-12-30 13:33:22 31 0
2 条回答
写回答
取消 提交回答
  • 2023-12-30 17:23:57
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks在创建独享数据集成资源组时,会根据任务的计算需求和存储需求来自动分配资源。具体来说,DataWorks会考虑以下几个方面:

    1. 任务的计算需求:根据任务的数据处理逻辑、算法复杂度等因素,DataWorks会估算出任务所需的计算资源数量,包括CPU核数、内存大小等。

    2. 任务的存储需求:根据任务处理的数据量、数据类型等因素,DataWorks会估算出任务所需的存储资源数量,包括HDFS文件系统容量、数据库表空间等。

    3. 任务的并发度:如果任务需要同时处理多个数据源或进行并行计算,DataWorks会考虑任务的并发度,并根据并发度来分配更多的资源。

    4. 任务的资源使用情况:如果之前的任务已经使用了一部分资源,DataWorks会考虑这些资源的使用情况,并根据剩余资源来分配新的资源。

    综上所述,DataWorks会根据任务的计算需求、存储需求、并发度和资源使用情况等因素来自动分配合适的独享数据集成资源组大小。如果您对资源分配有特殊的需求,可以通过调整任务的配置参数或者手动调整资源组的大小来实现。

    2023-12-30 16:06:25
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载