精彩视频回看请点击:MaxCompute规格详解
以下为精彩视频内容整理:
在用户使用MaxCompute之前,都会考虑成本和业务两大问题。有些企业处在快速的发展期,在业务上对性能的要求比较高,例如计算业务对资源的需求是弹性的,要求峰谷明显,一段时间对资源的要求非常高,另一段时间对资源的要求是比较低的,这种类型属于业务优先于成本。还有一些企业对预算有严格的要求,例如进行合同制的企业,在前期必须要有明确的预算,但对性能的要求不是很高,只需要在当天能够完成任务。基于以上两大场景MaxCompute推出了一系列格和计费方式。
服务模式
MaxCompute服务模式
MaxCompute的服务模式有两种方式,按量计费和包年包月。开通MaxCompute相当于对服务进行注册,同时产生有协议的订单,订单成功后即可使用该服务。按量计费是指整个订单计费模式都为使用之后再按量计费,包括计算、存储、下载几大块主要功能。开通时为0元开通,开通后若不使用则无费用产生。包年包月是指订单计费模式为混合模式,计算资源是按包年包月进行预付费,存储和下载则为使用之后在按量计费。开通时需要预先对计算资源进行付款。
MaxCompute计费方式
MaxCompute费用由三部分组成,存储费用、计算费用和下载费用。
- 存储费用按存储的数据容量大小进行阶梯计费,包年包月套餐中有固定的存储量,超出部分按量计费。
- 计算费用包含SQL任务、MapReduce任务、Lightning任务及Spark任务。
- SQL任务在按量付费时,如果是标准版,根据计算输入数据量及SQL的复杂度进行计算。如果是开发者版,根据计算输入量进行计算。在购买完包年包月的计算资源后,无需额外付费。
- MapReduce任务在按量付费时,根据计算任务所消耗的计算时进行计费。在购买完包年包月的计算资源后,无需额外付费。
- Lightning任务是根据查询输入量进行计算。
- Spark任务在按量付费时,根据计算任务所消耗的计算时进行计算。在购买完包年包月的计算资源后,无需额外付费。
- 下载费用按公网下载的流量进行计费。对上传、内网的下载不产生费用。
规格介绍
按量计费
按量计费-标准版
按量计费包括标准版和开发者版,标准版的计算资源为极致的弹性计算资源,资源池为共享型,计算任务按需抢占,不可指定使用量也无使用限制。包括SQL(含UDF)、MapReduce、Spark、交互式分析(Lightning)、Graph等计算类型资源。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对标准版的计费说明,计算资源(CU)收费按各计算类型任务使用量计费。当前仅SQL、MR、Spark、交互式分析几类计算任务有计费。存储收费只收表(Table)存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费指数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。
按量计费-开发者版
开发者版的计算资源资源池为共享型,计算任务按需抢占资源,不可指定使用量,只提供MaxCompute SQL(支持使用UDF)、PyODPS计算资源;一个region只能有一个项目选择使用开发者版资源;每个项目最大作业并发数为5个;单作业最多只能占用10CU计算资源。存储资源的资源池为共享型,按需存储。每个项目最大存储量限制在500GB(含临时数据大小),超过500GB将无法存入。这两个因素的限制使得开发者版资源不适合作为生产资源。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对开发者版的计费说明,计算资源(CU)收费:计算作业按照数据扫描量计费。每个月赠送价值100元的免费计算量,即每月可免费执行扫描666GB数据的作业量,超出部分将按量计费。存储收费:每个项目空间可免费且只能存储500GB资源。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。
包年包月
包年包月-标准计算资源
计算资源包含计算资源单元和非预留计算资源两种。计算资源单元即为预留计算资源,是必选资源。资源池为独享型,按购买CU量固定分配资源。非预留计算资源为非必选资源,资源数量在[0,购买量]区间内且不可独享。计算任务只能占用预留和非预留计算资源。资源可以执行SQL(含UDF)、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对标准计算资源的计费说明,计算资源(CU)收费:服务开通生成订单时就需要预先付费,按CU量和购买时长进行收费。预留和非预留资源单价不一样。存储收费:只收表(Table)存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。
包年包月-套餐版
针对计算资源,套餐中的预留计算资源为独享资源,按购买套餐固定分配计算资源。非预留计算资源为非必选资源,资源数量在[0,购买量]区间内且不可独享。计算任务只能占用预留和非预留计算资源。资源可以执行SQL(含UDF)、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对套餐版的计费说明,计算资源(CU)收费:服务开通生成订单时就需要预先付费,按套餐和购买时长进行收费。预留和非预留资源单价不一样。存储收费:只收表(Table)存储的容量费用。且容量大小是压缩后的数据。每日按购买的套餐提供固定的存储量,超出的量另行计费。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。
包年包月-非预留计算资源
针对计算资源,资源数量为[0,购买量]范围内的弹性资源池。购买后系统不预留资源,任务发起后,系统会在总资源池抢占并分配空闲资源。如果总资源池中空闲资源充足则可能为您分配所购买的最大CU量;如果总资源池繁忙则可能为您分配0CU。MaxCompute可保障您购买的非预留计算资源全天50%的计算力(一天计算力:资源数量*24小时)。资源可以执行SQL(含UDF)、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对非预留计算资源的计费说明,计算资源(CU)收费:服务开通生成订单时就需要预先付费,按CU量和购买时长进行收费。存储收费:只收表(Table)存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。
选择和使用
计算资源的选择
如何选择生产计算资源,就要从计算资源需求的场景来考虑。对于极致的弹性计算资源需求,资源为按量计费标准版,计算资源弹性使用,按量付费,其中SQL单价为0.3元/GB/1复杂度。规格优势在于资源不受限,峰值有保障,劣势在于费用不受控,目前有消费监控告警。对于重预算、重基线的场景需求,资源类型为包年包月预留计算资源,独享计算资源,购买后系统固定预留CU。包年包月标准版和套餐中的计算资源单元均为预留计算资源。其中标准版预留计算资源单价为150元/CU/月。规格优势在于资源独享,预算可控,劣势在于资源受限不利于超高峰值任务。
对于重预算、轻基线的场景需求,资源类型为包年包月非预留计算资源,预付弹性计算资源池,购买后使用时可获得[0,购买量]的弹性资源,单价为40元/CU/月。资源优势在于价格低廉,预算可控,劣势在于资源不可独享,忙时不能保障峰值。
资源类型的使用
- 按量付费使用
对于按量付费中的计算资源使用,开通按量计费模式以后,就拥有了共享资源池的使用权,同时创建一个或多个project,就可以指定的使用资源池。MaxCompute会分配共享资源池作为默认资源组,创建MaxCompute project时只要选择按量计费模式,project都是绑定这个默认公共资源组。当project里发起task,则按需占用该资源池资源。它的优势在于使用灵活,无需对资源进行管理,只需要按业务进行项目规划。重点提醒的是需要配置好相关消费监控告警,避免预料外的高额账单。
对于按量付费中的存储资源使用,无使用限制,无需关注存储资源,只需要按业务需求进行数据存放。重点提醒的是管理好数据生命周期,存在多project时,在满足业务需求的同时集中存放数据。
- 包年包月预留资源使用
购买预留计算资源时,开通包年包月模式,选择“标准计算资源”,同时非预留计算资源为0;或者选择3种套餐中的任何一种,同时非预留计算资源为0。
使用非预留计算资源时,购买包年包月计算资源后,系统默认给分配一个资源组,其中只包含预留计算资源。可以在MaxCompute管家中创建二级quota组细分资源,如果不细分,则只有1中的默认quota组。Project指定使用包年包月计算资源(默认quota组)后,到MaxCompute管家指定具体quota组。Project中单个task按业务需求可通过quota tag功能指定到其他二级quota组执行。
- 包年包月非预留资源使用
购买非预留计算资源时,当前仅在国内上海、北京、杭州、深圳4个region可购买,其他地区的region没有开放。购买时有两种方式,组合购买和单独购买,同时也要根据自己的业务需求购买。
组合购买,即标准计算资源或套餐购买的同时加购非预留计算资源。通过购买100CU和300ECU后,系统默认给分配一个资源组。可以在MaxCompute管家中创建二级quota组细分资源,一组为默认100CU,另一组为300ECU。Project指定使用默认quota组后,到MaxCompute管家指定具体quota组。Project中单个task按业务需求可通过quota tag功能指定到其他二级quota组执行。如果没有进行细分,这种方式会优先使用预留资源,通过细分预留资源可以进行一些重要的任务,非预留资源可以进行一些峰值高、对性能要求不是很高的任务。
单独购买,即只购买使用非预留计算资源。购买300ECU后,默认quota组中会有300ECU,project中的所有任务都会使用默认quota组的计算资源。
所有的规格在不同的模式中都是可以切换使用的,比如刚开始使用的是开发者版,也可以切换成标准版来使用,但是不可以将标准版切换成开发者版。使用包年包月时,开通后只能选择一个规格,当有需求时也可以通过升级和降配的页面切换成另外的规格。Project创建时,刚开始选择按量付费,在使用过程中也可以切换成包年包月资源,或者刚开始选择包年包月,在使用过程中也可以切换成按量付费。
- 包年包月和按量计费混合使用
在实际使用时,也可以按业务需求,同时开通两种模式,混合使用。比如,任务的业务数据量很大但是时间要求不高,按量计费不划算可以使用包年包月资源慢慢执行。再比如,任务需要重点保障时间,且峰值很高,包年包月按峰值数量购买的话很多时间又闲置不划算,买少了又不能保障峰值和时间,可以放到按量计费资源执行。
示例
案例一:MaxCompute按量计费
如上图所示,此案例的需求特点是业务处在需要快速发展阶段,对数据基线要求高,集群利用率低,业务计算闲时占比大于50%,计算峰值是平均水位的大于2倍。这时,推荐规格为按量付费,业务处在高速发展期,使用MaxCompute相比于IDC自建集群,可以省掉集群运维成本,同时灵活的弹性资源可以满足爆发式分析资源需求。
案例二:MaxCompute包年包月
此案例的需求特点是成本控制严格,特别关注低质量SQL对计费的影响,如果是预算合同制,通过按量不容易估算成本。在前期可评估每天平均作业量和数据量,计算峰值所需核数是平均水位的5倍,但对生产性能要求不高。这时,推荐规格为包年包月的预留资源加非预留预付。如上图所示,通过独占计算资源和非预留系统抢占式计算资源的方式,以预留独享计算资源保障重要业务,非预留作为非保障业务峰值扩充资源。
大家如果对MaxCompute有更多咨询或者建议,欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击链接 申请加入。