开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

请问大数据计算MaxCompute是否有什么方式来达到这个需求哦?

83cf49c3e5a922d311cae95166404af8.png
实际上,咱对于mc quota的划分需求如图。
目前需要的总CU是100,但试验过,100CU包年包月的一级quota并不能拆分两个二级quota来做资源划分。请问大数据计算MaxCompute是否有什么方式来达到这个需求哦?
etl配额2,是支持运行补数据作业。
etl配额2的任务是:离线与准实时ETL、补数据作业
运营分析配额 只做bi查询

展开
收起
嘟嘟嘟嘟嘟嘟 2024-07-13 23:41:08 39 0
2 条回答
写回答
取消 提交回答
  • 你的这个设置,50cu预留+50cu弹性行不通。
    除非限制一下运营分析配额的大小。
    etl配额2和运营分析配额都是50cu,还需要设置运营分析配额独占。 这个规则没办法配。

    建议你升配预留cu到60或者70
    此回答整理自钉群“MaxCompute开发者社区1群”

    2024-07-16 07:48:10
    赞同 2 展开评论 打赏
  • 技术浪潮涌向前,学习脚步永绵绵。

    MaxCompute 提供了灵活的配额管理和资源调度机制来满足不同场景下的资源分配需求。虽然直接在一级配额(Quota)内进行细粒度的二级配额拆分可能受到一定限制,但你可以通过其他策略来实现资源的有效划分和隔离,以支持ETL作业和运营分析作业的同时运行,具体方法如下:

    1. 工作流调度与资源组(Resource Group):
      MaxCompute 支持创建不同的资源组来隔离和管理资源。你可以为ETL作业和运营分析作业分配不同的资源组。每个资源组可以设定其CPU(即CU)上限,这样就能在一定程度上实现资源的划分。通过DataWorks的工作流调度,可以指定作业运行时使用的资源组,从而达到控制资源使用的目的。

    2. 使用标签(Label)管理资源:
      如果资源组的隔离方式还不够灵活,可以考虑结合使用标签(Label)。尽管标签主要用于成本分摊和统计,但在安排作业时,也可以根据标签来间接控制资源的使用,例如,为ETL作业和BI查询作业打上不同的标签,并通过调度策略来确保带有特定标签的作业在资源充足的时段运行。

    3. 动态调整Quota:
      虽然一级Quota难以直接拆分为两个独立管理的二级Quota,但可以根据业务高峰期和低谷期动态调整资源分配。例如,通过API或DataWorks界面,在ETL作业非高峰时段减少其资源组的CU配额,临时增加给运营分析的资源组,反之亦然。这样虽不能严格划分100CU,但能根据实际需求灵活调配。

    4. 任务优先级:
      MaxCompute支持任务优先级设置,可以通过设置不同作业的优先级来间接管理资源分配。高优先级的作业在资源紧张时会优先获得执行,这可以帮助关键的运营分析查询在繁忙时段得到响应。

    5. 时间窗口管理:
      利用时间窗口策略,为ETL作业和运营分析查询设定不同的执行时段。例如,安排ETL作业在夜间或业务低峰期运行,而将白天或业务高峰时段留给对延迟敏感的运营分析查询。

    综上所述,虽然直接拆分一级Quota为两个具有固定CU数的二级Quota可能不可行,但通过上述策略的组合运用,仍然可以有效地管理和分配MaxCompute中的计算资源,满足不同业务场景的需求。

    2024-07-14 15:55:26
    赞同 2 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载