MaxCompute规格详解--合理的选择让您花更低的成本获得更高的业务价值-阿里云开发者社区

开发者社区> 阿里巴巴大数据计算> 正文

MaxCompute规格详解--合理的选择让您花更低的成本获得更高的业务价值

简介: 本文由阿里巴巴技术专家海清带来以“MaxCompute规格详解”为主题的演讲。首先概述了在使用MaxCompute时,通常选择的两种服务模式,按量计费和包年包月,以及在MaxCompute计费过程中所产生的各项费用。

精彩视频回看请点击:MaxCompute规格详解

以下为精彩视频内容整理:
在用户使用MaxCompute之前,都会考虑成本和业务两大问题。有些企业处在快速的发展期,在业务上对性能的要求比较高,例如计算业务对资源的需求是弹性的,要求峰谷明显,一段时间对资源的要求非常高,另一段时间对资源的要求是比较低的,这种类型属于业务优先于成本。还有一些企业对预算有严格的要求,例如进行合同制的企业,在前期必须要有明确的预算,但对性能的要求不是很高,只需要在当天能够完成任务。基于以上两大场景MaxCompute推出了一系列格和计费方式。

服务模式

MaxCompute服务模式

图片 1.png
MaxCompute的服务模式有两种方式,按量计费和包年包月。开通MaxCompute相当于对服务进行注册,同时产生有协议的订单,订单成功后即可使用该服务。按量计费是指整个订单计费模式都为使用之后再按量计费,包括计算、存储、下载几大块主要功能。开通时为0元开通,开通后若不使用则无费用产生。包年包月是指订单计费模式为混合模式,计算资源是按包年包月进行预付费,存储和下载则为使用之后在按量计费。开通时需要预先对计算资源进行付款。

MaxCompute计费方式

MaxCompute费用由三部分组成,存储费用、计算费用和下载费用。

  • 存储费用按存储的数据容量大小进行阶梯计费,包年包月套餐中有固定的存储量,超出部分按量计费。
  • 计算费用包含SQL任务、MapReduce任务、Lightning任务及Spark任务。
  • SQL任务在按量付费时,如果是标准版,根据计算输入数据量及SQL的复杂度进行计算。如果是开发者版,根据计算输入量进行计算。在购买完包年包月的计算资源后,无需额外付费。
  • MapReduce任务在按量付费时,根据计算任务所消耗的计算时进行计费。在购买完包年包月的计算资源后,无需额外付费。
  • Lightning任务是根据查询输入量进行计算。
  • Spark任务在按量付费时,根据计算任务所消耗的计算时进行计算。在购买完包年包月的计算资源后,无需额外付费。
  • 下载费用按公网下载的流量进行计费。对上传、内网的下载不产生费用。

规格介绍

按量计费

图片 2.png

按量计费-标准版

按量计费包括标准版和开发者版,标准版的计算资源为极致的弹性计算资源,资源池为共享型,计算任务按需抢占,不可指定使用量也无使用限制。包括SQL(含UDF)、MapReduce、Spark、交互式分析(Lightning)、Graph等计算类型资源。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对标准版的计费说明,计算资源(CU)收费按各计算类型任务使用量计费。当前仅SQL、MR、Spark、交互式分析几类计算任务有计费。存储收费只收表(Table)存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费指数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

按量计费-开发者版

开发者版的计算资源资源池为共享型,计算任务按需抢占资源,不可指定使用量,只提供MaxCompute SQL(支持使用UDF)、PyODPS计算资源;一个region只能有一个项目选择使用开发者版资源;每个项目最大作业并发数为5个;单作业最多只能占用10CU计算资源。存储资源的资源池为共享型,按需存储。每个项目最大存储量限制在500GB(含临时数据大小),超过500GB将无法存入。这两个因素的限制使得开发者版资源不适合作为生产资源。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对开发者版的计费说明,计算资源(CU)收费:计算作业按照数据扫描量计费。每个月赠送价值100元的免费计算量,即每月可免费执行扫描666GB数据的作业量,超出部分将按量计费。存储收费:每个项目空间可免费且只能存储500GB资源。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

包年包月

3.png

包年包月-标准计算资源

计算资源包含计算资源单元和非预留计算资源两种。计算资源单元即为预留计算资源,是必选资源。资源池为独享型,按购买CU量固定分配资源。非预留计算资源为非必选资源,资源数量在[0,购买量]区间内且不可独享。计算任务只能占用预留和非预留计算资源。资源可以执行SQL(含UDF)、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对标准计算资源的计费说明,计算资源(CU)收费:服务开通生成订单时就需要预先付费,按CU量和购买时长进行收费。预留和非预留资源单价不一样。存储收费:只收表(Table)存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

包年包月-套餐版

针对计算资源,套餐中的预留计算资源为独享资源,按购买套餐固定分配计算资源。非预留计算资源为非必选资源,资源数量在[0,购买量]区间内且不可独享。计算任务只能占用预留和非预留计算资源。资源可以执行SQL(含UDF)、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对套餐版的计费说明,计算资源(CU)收费:服务开通生成订单时就需要预先付费,按套餐和购买时长进行收费。预留和非预留资源单价不一样。存储收费:只收表(Table)存储的容量费用。且容量大小是压缩后的数据。每日按购买的套餐提供固定的存储量,超出的量另行计费。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

包年包月-非预留计算资源

针对计算资源,资源数量为[0,购买量]范围内的弹性资源池。购买后系统不预留资源,任务发起后,系统会在总资源池抢占并分配空闲资源。如果总资源池中空闲资源充足则可能为您分配所购买的最大CU量;如果总资源池繁忙则可能为您分配0CU。MaxCompute可保障您购买的非预留计算资源全天50%的计算力(一天计算力:资源数量*24小时)。资源可以执行SQL(含UDF)、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对非预留计算资源的计费说明,计算资源(CU)收费:服务开通生成订单时就需要预先付费,按CU量和购买时长进行收费。存储收费:只收表(Table)存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

选择和使用

计算资源的选择

如何选择生产计算资源,就要从计算资源需求的场景来考虑。对于极致的弹性计算资源需求,资源为按量计费标准版,计算资源弹性使用,按量付费,其中SQL单价为0.3元/GB/1复杂度。规格优势在于资源不受限,峰值有保障,劣势在于费用不受控,目前有消费监控告警。对于重预算、重基线的场景需求,资源类型为包年包月预留计算资源,独享计算资源,购买后系统固定预留CU。包年包月标准版和套餐中的计算资源单元均为预留计算资源。其中标准版预留计算资源单价为150元/CU/月。规格优势在于资源独享,预算可控,劣势在于资源受限不利于超高峰值任务。
对于重预算、轻基线的场景需求,资源类型为包年包月非预留计算资源,预付弹性计算资源池,购买后使用时可获得[0,购买量]的弹性资源,单价为40元/CU/月。资源优势在于价格低廉,预算可控,劣势在于资源不可独享,忙时不能保障峰值。

资源类型的使用

  • 按量付费使用

4.png
对于按量付费中的计算资源使用,开通按量计费模式以后,就拥有了共享资源池的使用权,同时创建一个或多个project,就可以指定的使用资源池。MaxCompute会分配共享资源池作为默认资源组,创建MaxCompute project时只要选择按量计费模式,project都是绑定这个默认公共资源组。当project里发起task,则按需占用该资源池资源。它的优势在于使用灵活,无需对资源进行管理,只需要按业务进行项目规划。重点提醒的是需要配置好相关消费监控告警,避免预料外的高额账单。
对于按量付费中的存储资源使用,无使用限制,无需关注存储资源,只需要按业务需求进行数据存放。重点提醒的是管理好数据生命周期,存在多project时,在满足业务需求的同时集中存放数据。

  • 包年包月预留资源使用

购买预留计算资源时,开通包年包月模式,选择“标准计算资源”,同时非预留计算资源为0;或者选择3种套餐中的任何一种,同时非预留计算资源为0。
5.png
使用非预留计算资源时,购买包年包月计算资源后,系统默认给分配一个资源组,其中只包含预留计算资源。可以在MaxCompute管家中创建二级quota组细分资源,如果不细分,则只有1中的默认quota组。Project指定使用包年包月计算资源(默认quota组)后,到MaxCompute管家指定具体quota组。Project中单个task按业务需求可通过quota tag功能指定到其他二级quota组执行。

  • 包年包月非预留资源使用

购买非预留计算资源时,当前仅在国内上海、北京、杭州、深圳4个region可购买,其他地区的region没有开放。购买时有两种方式,组合购买和单独购买,同时也要根据自己的业务需求购买。
6.png
组合购买,即标准计算资源或套餐购买的同时加购非预留计算资源。通过购买100CU和300ECU后,系统默认给分配一个资源组。可以在MaxCompute管家中创建二级quota组细分资源,一组为默认100CU,另一组为300ECU。Project指定使用默认quota组后,到MaxCompute管家指定具体quota组。Project中单个task按业务需求可通过quota tag功能指定到其他二级quota组执行。如果没有进行细分,这种方式会优先使用预留资源,通过细分预留资源可以进行一些重要的任务,非预留资源可以进行一些峰值高、对性能要求不是很高的任务。
7.png
单独购买,即只购买使用非预留计算资源。购买300ECU后,默认quota组中会有300ECU,project中的所有任务都会使用默认quota组的计算资源。
所有的规格在不同的模式中都是可以切换使用的,比如刚开始使用的是开发者版,也可以切换成标准版来使用,但是不可以将标准版切换成开发者版。使用包年包月时,开通后只能选择一个规格,当有需求时也可以通过升级和降配的页面切换成另外的规格。Project创建时,刚开始选择按量付费,在使用过程中也可以切换成包年包月资源,或者刚开始选择包年包月,在使用过程中也可以切换成按量付费。

  • 包年包月和按量计费混合使用

在实际使用时,也可以按业务需求,同时开通两种模式,混合使用。比如,任务的业务数据量很大但是时间要求不高,按量计费不划算可以使用包年包月资源慢慢执行。再比如,任务需要重点保障时间,且峰值很高,包年包月按峰值数量购买的话很多时间又闲置不划算,买少了又不能保障峰值和时间,可以放到按量计费资源执行。

示例

案例一:MaxCompute按量计费
8.png
如上图所示,此案例的需求特点是业务处在需要快速发展阶段,对数据基线要求高,集群利用率低,业务计算闲时占比大于50%,计算峰值是平均水位的大于2倍。这时,推荐规格为按量付费,业务处在高速发展期,使用MaxCompute相比于IDC自建集群,可以省掉集群运维成本,同时灵活的弹性资源可以满足爆发式分析资源需求。

案例二:MaxCompute包年包月
9.png
此案例的需求特点是成本控制严格,特别关注低质量SQL对计费的影响,如果是预算合同制,通过按量不容易估算成本。在前期可评估每天平均作业量和数据量,计算峰值所需核数是平均水位的5倍,但对生产性能要求不高。这时,推荐规格为包年包月的预留资源加非预留预付。如上图所示,通过独占计算资源和非预留系统抢占式计算资源的方式,以预留独享计算资源保障重要业务,非预留作为非保障业务峰值扩充资源。

大家如果对MaxCompute有更多咨询或者建议,欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击链接 申请加入。
2群.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里巴巴大数据计算
使用钉钉扫一扫加入圈子
+ 订阅

阿里大数据官方技术圈

官方博客
链接