想问下大数据计算MaxCompute任务消耗的cu数是如何计算的啊?
information schema里的task表,有针对每个任务的CU统计:total_cpu_usage,可以看下
https://help.aliyun.com/zh/maxcompute/user-guide/overview-of-information-schema?spm=a2c4g.11186623.0.i260#3cdc0800355yt 通过SQL查出来的。
https://help.aliyun.com/zh/maxcompute/user-guide/overview-of-information-schema?spm=a2c4g.11186623.0.i260#section-l3k-0v2-zwm ,此回答整理自钉群“MaxCompute开发者社区2群”
在阿里云MaxCompute中,CU(计算单元)是一个衡量计算资源的单位,它对应于1个CPU核心和4GB内存。一个标准的MaxCompute CU包含1个CPU核心和4GB内存。当您提交一个任务到MaxCompute时,系统会根据您的任务规格和数据量来确定所需的CU数量。例如,如果您的任务需要运行5秒,并且消耗了10个CPU核心,那么您的任务将需要至少50个CU(10个CPU核心 × 5秒 = 50个CU)来执行。
参考文档:https://help.aliyun.com/zh/maxcompute/product-overview/computing-fees
MaxCompute的计算费用(包年包月)是提前预定一部分资源,先付费后使用。包年包月的计算资源分为预留计算资源和非预留计算资源,即SQL、MapReduce、Spark等类型任务计算所需资源。
预留计算资源:包括包年包月标准版和包年包月套餐版中的计算资源,购买相应的规格后,MaxCompute将会为您预留购买的资源数量,您将可以完全独享这部分资源。
说明
资源的基本单位定义为CU(Compute Unit),1 CU=4 GB内存+1 CPU Core。
如果您的任务量较稳定,建议对于消耗资源较少的任务购买包年包月预留计算资源,资源较大的任务购买按I/O按量计费资源,这样可以保证任务运行时一直有CU资源。
包月标准版和包年包月套餐版规格详情,请参见包年包月标准版和包年包月套餐版。
包年包月套餐版(存储密集型160套餐、存储密集型320套餐、存储密集型600套餐)已停止新购,并将于北京时间2023年10月31日(周二)00:00:00停止服务,建议您尽快调整至标准计算资源,详情请参见2022年09月23日-MaxCompute部分售卖规格停止新购公告。
非预留计算资源:购买相应的规格后,不预留固定数量的资源而是提供一个数量在[0,购买量]范围内的弹性资源池。当任务发起后,MaxCompute会在总资源池的空闲资源部分进行抢占并分配。若总资源池中空闲资源充足则可能分配给您所购买的最大CU量,若总资源池繁忙则可能分配到0 CU,MaxCompute可以保障您购买的非预留计算资源全天50%的计算力(一天计算力=资源数量×24小时)。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。