大数据计算MaxCompute现在一张表十几亿数据,就简单select *显示60元, 怎么知道应该买多少cu合适呢?
MaxCompute计算资源优化方案生成逻辑
根据示例场景的基本情况,得出日CU请求预测值。
根据两批作业历史30天的运行情况,预测出两批作业分完成运行所需要占用的资源(资源CU时),假设两个预测值分别为:
第一批作业:
占用1500CU资源,运行了1h,资源CU时=1500CU*1h=1500CU时。
第二批作业:
占用750CU资源,运行了1h,资源CU时=750CU*1h=750CU时。
根据两批作业期望完成运行的时间,设定两个评估时间点,分别为02:00和06:00。
评估基于当前资源配置现状,后续资源的消耗情况。
说明
以下相关评估指标的数据主要通过CU时来进行预估,详细的计算逻辑可参见下文的相关术语中对应的术语。
第一批作业运行需占用1500CU时,资源预留了1000CU,全部运行完成第一批作业需运行1.5h,导致第一批作业在02:30才全部运行完成,作业延期30min。
第二批作业运行需占用750CU时,资源预留了1000CU,全部运行完成第二批作业需运行0.75h,即在05:45左右全部运行完成,资源有冗余,作业无延迟。
根据产出目标(希望资源配置优化后作业完成运行的时间点),生成最优资源配置优化方案。
优化方案:固定预留750CU资源,并在01:00~02:00的时间范围内额外增加弹性预留750CU资源。
优化后的结果:
两批作业需求满足度为100%,作业延迟为0min。
资源成本(目录价):750CU150元/CU+750CU0.315元/CU/H1H30=119,587.5元,较优化前的月计算成本1000CU*150元/CU=150,000元,降低30,412.5元。
在MaxCompute中确定合适的CU(Compute Unit)数量,需要根据作业的资源消耗和执行效率来评估。具体来说:
综上所述,确定购买多少CU的过程需要综合考虑任务的资源消耗、成本预算以及性能要求。通过分析和测试,您可以找到一个既经济又能满足业务需求的CU配置。
按照文档 测算一下。https://help.aliyun.com/zh/maxcompute/user-guide/computing-resource-optimization-recommendations?spm=a2c4g.11186623.0.0.330462ae4Udtls ,此回答整理自钉群“MaxCompute开发者社区2群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。