开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute怎么知道应该买多少cu合适呢?

大数据计算MaxCompute现在一张表十几亿数据,就简单select *显示60元, 怎么知道应该买多少cu合适呢?

展开
收起
真的很搞笑 2024-03-04 10:27:16 130 0
3 条回答
写回答
取消 提交回答
  • MaxCompute计算资源优化方案生成逻辑

    根据示例场景的基本情况,得出日CU请求预测值。
    f78a8c2e13c89d3248f9aae3394ed269_p697031.png

    根据两批作业历史30天的运行情况,预测出两批作业分完成运行所需要占用的资源(资源CU时),假设两个预测值分别为:

    第一批作业:

    占用1500CU资源,运行了1h,资源CU时=1500CU*1h=1500CU时。

    第二批作业:

    占用750CU资源,运行了1h,资源CU时=750CU*1h=750CU时。

    根据两批作业期望完成运行的时间,设定两个评估时间点,分别为02:00和06:00。

    评估基于当前资源配置现状,后续资源的消耗情况。

    说明
    以下相关评估指标的数据主要通过CU时来进行预估,详细的计算逻辑可参见下文的相关术语中对应的术语。
    1ceffd73f2ea300d095955cc824fec4b_p697048.png

    第一批作业运行需占用1500CU时,资源预留了1000CU,全部运行完成第一批作业需运行1.5h,导致第一批作业在02:30才全部运行完成,作业延期30min。

    第二批作业运行需占用750CU时,资源预留了1000CU,全部运行完成第二批作业需运行0.75h,即在05:45左右全部运行完成,资源有冗余,作业无延迟。
    根据产出目标(希望资源配置优化后作业完成运行的时间点),生成最优资源配置优化方案。
    539be279212d63c97ee8f2e90f01c87d_p697072.png

    优化方案:固定预留750CU资源,并在01:00~02:00的时间范围内额外增加弹性预留750CU资源。

    优化后的结果:

    两批作业需求满足度为100%,作业延迟为0min。

    资源成本(目录价):750CU150元/CU+750CU0.315元/CU/H1H30=119,587.5元,较优化前的月计算成本1000CU*150元/CU=150,000元,降低30,412.5元。

    参考 文档https://help.aliyun.com/zh/maxcompute/user-guide/computing-resource-optimization-recommendations?spm=a2c6h.13066369.question.7.2a6745217I8iRn

    2024-03-17 08:43:24
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在MaxCompute中确定合适的CU(Compute Unit)数量,需要根据作业的资源消耗和执行效率来评估。具体来说:

    1. 了解资源单位:理解MaxCompute的资源单位CU,1 CU等于4 GB内存加上1个CPU核心。这是计算资源的基本单位,用于衡量作业执行所需的计算能力。
    2. 分析任务需求:分析您的查询任务对资源的需求。如果任务量较稳定,可以考虑购买包年包月的预留计算资源;如果任务量波动较大,可以选择按I/O按量计费资源。
    3. 考虑成本效益:为了实现成本效益最大化,您需要平衡存储资源和计算资源的成本。存储资源用于存储表或资源,而计算资源用于运行作业。
    4. 监控资源使用:通过监控历史作业的资源使用情况,可以得出平均每条记录查询所需的CU数量。然后,根据表中的数据量估算出所需的总CU数量。
    5. 预留与按需结合:如果您的业务对计算力有持续的需求,可以考虑购买非预留计算资源,这样可以保证有一定计算力的保障。
    6. 性能测试:在实际购买之前,可以通过性能测试来模拟不同CU配置下的查询性能,从而更准确地预估所需CU的数量。
    7. 咨询专业建议:如果您不确定如何评估,可以联系MaxCompute的技术支持或咨询服务,他们可以根据您的具体情况提供专业的建议。
    8. 考虑规格差异:不同的CU类型具有不同的CPU和内存规格,因此选择合适的CU类型也是确保作业效率的关键因素。
    9. 学习资源管理:了解MaxCompute的资源管理和计费模式,可以帮助您更有效地规划和使用资源。

    综上所述,确定购买多少CU的过程需要综合考虑任务的资源消耗、成本预算以及性能要求。通过分析和测试,您可以找到一个既经济又能满足业务需求的CU配置。

    2024-03-04 13:51:36
    赞同 展开评论 打赏
  • 按照文档 测算一下。https://help.aliyun.com/zh/maxcompute/user-guide/computing-resource-optimization-recommendations?spm=a2c4g.11186623.0.0.330462ae4Udtls ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-03-04 10:43:45
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载