开发者社区> 亢海鹏> 正文

MaxCompute规格详解--合理的选择让您花更低的成本获得更高的业务价值

简介: 本文由阿里巴巴技术专家海清带来以“MaxCompute规格详解”为主题的演讲。首先概述了在使用MaxCompute时,通常选择的两种服务模式,按量计费和包年包月,以及在MaxCompute计费过程中所产生的各项费用。
+关注继续查看

精彩视频回看请点击:MaxCompute规格详解

以下为精彩视频内容整理:
在用户使用MaxCompute之前,都会考虑成本和业务两大问题。有些企业处在快速的发展期,在业务上对性能的要求比较高,例如计算业务对资源的需求是弹性的,要求峰谷明显,一段时间对资源的要求非常高,另一段时间对资源的要求是比较低的,这种类型属于业务优先于成本。还有一些企业对预算有严格的要求,例如进行合同制的企业,在前期必须要有明确的预算,但对性能的要求不是很高,只需要在当天能够完成任务。基于以上两大场景MaxCompute推出了一系列格和计费方式。

服务模式

MaxCompute服务模式

图片 1.png
MaxCompute的服务模式有两种方式,按量计费和包年包月。开通MaxCompute相当于对服务进行注册,同时产生有协议的订单,订单成功后即可使用该服务。按量计费是指整个订单计费模式都为使用之后再按量计费,包括计算、存储、下载几大块主要功能。开通时为0元开通,开通后若不使用则无费用产生。包年包月是指订单计费模式为混合模式,计算资源是按包年包月进行预付费,存储和下载则为使用之后在按量计费。开通时需要预先对计算资源进行付款。

MaxCompute计费方式

MaxCompute费用由三部分组成,存储费用、计算费用和下载费用。

  • 存储费用按存储的数据容量大小进行阶梯计费,包年包月套餐中有固定的存储量,超出部分按量计费。
  • 计算费用包含SQL任务、MapReduce任务、Lightning任务及Spark任务。
  • SQL任务在按量付费时,如果是标准版,根据计算输入数据量及SQL的复杂度进行计算。如果是开发者版,根据计算输入量进行计算。在购买完包年包月的计算资源后,无需额外付费。
  • MapReduce任务在按量付费时,根据计算任务所消耗的计算时进行计费。在购买完包年包月的计算资源后,无需额外付费。
  • Lightning任务是根据查询输入量进行计算。
  • Spark任务在按量付费时,根据计算任务所消耗的计算时进行计算。在购买完包年包月的计算资源后,无需额外付费。
  • 下载费用按公网下载的流量进行计费。对上传、内网的下载不产生费用。

规格介绍

按量计费

图片 2.png

按量计费-标准版

按量计费包括标准版和开发者版,标准版的计算资源为极致的弹性计算资源,资源池为共享型,计算任务按需抢占,不可指定使用量也无使用限制。包括SQL(含UDF)、MapReduce、Spark、交互式分析(Lightning)、Graph等计算类型资源。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对标准版的计费说明,计算资源(CU)收费按各计算类型任务使用量计费。当前仅SQL、MR、Spark、交互式分析几类计算任务有计费。存储收费只收表(Table)存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费指数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

按量计费-开发者版

开发者版的计算资源资源池为共享型,计算任务按需抢占资源,不可指定使用量,只提供MaxCompute SQL(支持使用UDF)、PyODPS计算资源;一个region只能有一个项目选择使用开发者版资源;每个项目最大作业并发数为5个;单作业最多只能占用10CU计算资源。存储资源的资源池为共享型,按需存储。每个项目最大存储量限制在500GB(含临时数据大小),超过500GB将无法存入。这两个因素的限制使得开发者版资源不适合作为生产资源。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对开发者版的计费说明,计算资源(CU)收费:计算作业按照数据扫描量计费。每个月赠送价值100元的免费计算量,即每月可免费执行扫描666GB数据的作业量,超出部分将按量计费。存储收费:每个项目空间可免费且只能存储500GB资源。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

包年包月

3.png

包年包月-标准计算资源

计算资源包含计算资源单元和非预留计算资源两种。计算资源单元即为预留计算资源,是必选资源。资源池为独享型,按购买CU量固定分配资源。非预留计算资源为非必选资源,资源数量在[0,购买量]区间内且不可独享。计算任务只能占用预留和非预留计算资源。资源可以执行SQL(含UDF)、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对标准计算资源的计费说明,计算资源(CU)收费:服务开通生成订单时就需要预先付费,按CU量和购买时长进行收费。预留和非预留资源单价不一样。存储收费:只收表(Table)存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

包年包月-套餐版

针对计算资源,套餐中的预留计算资源为独享资源,按购买套餐固定分配计算资源。非预留计算资源为非必选资源,资源数量在[0,购买量]区间内且不可独享。计算任务只能占用预留和非预留计算资源。资源可以执行SQL(含UDF)、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对套餐版的计费说明,计算资源(CU)收费:服务开通生成订单时就需要预先付费,按套餐和购买时长进行收费。预留和非预留资源单价不一样。存储收费:只收表(Table)存储的容量费用。且容量大小是压缩后的数据。每日按购买的套餐提供固定的存储量,超出的量另行计费。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

包年包月-非预留计算资源

针对计算资源,资源数量为[0,购买量]范围内的弹性资源池。购买后系统不预留资源,任务发起后,系统会在总资源池抢占并分配空闲资源。如果总资源池中空闲资源充足则可能为您分配所购买的最大CU量;如果总资源池繁忙则可能为您分配0CU。MaxCompute可保障您购买的非预留计算资源全天50%的计算力(一天计算力:资源数量*24小时)。资源可以执行SQL(含UDF)、MapReduce、Spark、Graph等计算类型任务。存储资源的资源池为共享型,按需存储,无使用限制。包括表(Table)和资源(Resource)等存储。上传、下载数据资源的资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。
针对非预留计算资源的计费说明,计算资源(CU)收费:服务开通生成订单时就需要预先付费,按CU量和购买时长进行收费。存储收费:只收表(Table)存储的容量费用。且容量大小是压缩后的数据。数据上传、下载收费:数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费。

选择和使用

计算资源的选择

如何选择生产计算资源,就要从计算资源需求的场景来考虑。对于极致的弹性计算资源需求,资源为按量计费标准版,计算资源弹性使用,按量付费,其中SQL单价为0.3元/GB/1复杂度。规格优势在于资源不受限,峰值有保障,劣势在于费用不受控,目前有消费监控告警。对于重预算、重基线的场景需求,资源类型为包年包月预留计算资源,独享计算资源,购买后系统固定预留CU。包年包月标准版和套餐中的计算资源单元均为预留计算资源。其中标准版预留计算资源单价为150元/CU/月。规格优势在于资源独享,预算可控,劣势在于资源受限不利于超高峰值任务。
对于重预算、轻基线的场景需求,资源类型为包年包月非预留计算资源,预付弹性计算资源池,购买后使用时可获得[0,购买量]的弹性资源,单价为40元/CU/月。资源优势在于价格低廉,预算可控,劣势在于资源不可独享,忙时不能保障峰值。

资源类型的使用

  • 按量付费使用

4.png
对于按量付费中的计算资源使用,开通按量计费模式以后,就拥有了共享资源池的使用权,同时创建一个或多个project,就可以指定的使用资源池。MaxCompute会分配共享资源池作为默认资源组,创建MaxCompute project时只要选择按量计费模式,project都是绑定这个默认公共资源组。当project里发起task,则按需占用该资源池资源。它的优势在于使用灵活,无需对资源进行管理,只需要按业务进行项目规划。重点提醒的是需要配置好相关消费监控告警,避免预料外的高额账单。
对于按量付费中的存储资源使用,无使用限制,无需关注存储资源,只需要按业务需求进行数据存放。重点提醒的是管理好数据生命周期,存在多project时,在满足业务需求的同时集中存放数据。

  • 包年包月预留资源使用

购买预留计算资源时,开通包年包月模式,选择“标准计算资源”,同时非预留计算资源为0;或者选择3种套餐中的任何一种,同时非预留计算资源为0。
5.png
使用非预留计算资源时,购买包年包月计算资源后,系统默认给分配一个资源组,其中只包含预留计算资源。可以在MaxCompute管家中创建二级quota组细分资源,如果不细分,则只有1中的默认quota组。Project指定使用包年包月计算资源(默认quota组)后,到MaxCompute管家指定具体quota组。Project中单个task按业务需求可通过quota tag功能指定到其他二级quota组执行。

  • 包年包月非预留资源使用

购买非预留计算资源时,当前仅在国内上海、北京、杭州、深圳4个region可购买,其他地区的region没有开放。购买时有两种方式,组合购买和单独购买,同时也要根据自己的业务需求购买。
6.png
组合购买,即标准计算资源或套餐购买的同时加购非预留计算资源。通过购买100CU和300ECU后,系统默认给分配一个资源组。可以在MaxCompute管家中创建二级quota组细分资源,一组为默认100CU,另一组为300ECU。Project指定使用默认quota组后,到MaxCompute管家指定具体quota组。Project中单个task按业务需求可通过quota tag功能指定到其他二级quota组执行。如果没有进行细分,这种方式会优先使用预留资源,通过细分预留资源可以进行一些重要的任务,非预留资源可以进行一些峰值高、对性能要求不是很高的任务。
7.png
单独购买,即只购买使用非预留计算资源。购买300ECU后,默认quota组中会有300ECU,project中的所有任务都会使用默认quota组的计算资源。
所有的规格在不同的模式中都是可以切换使用的,比如刚开始使用的是开发者版,也可以切换成标准版来使用,但是不可以将标准版切换成开发者版。使用包年包月时,开通后只能选择一个规格,当有需求时也可以通过升级和降配的页面切换成另外的规格。Project创建时,刚开始选择按量付费,在使用过程中也可以切换成包年包月资源,或者刚开始选择包年包月,在使用过程中也可以切换成按量付费。

  • 包年包月和按量计费混合使用

在实际使用时,也可以按业务需求,同时开通两种模式,混合使用。比如,任务的业务数据量很大但是时间要求不高,按量计费不划算可以使用包年包月资源慢慢执行。再比如,任务需要重点保障时间,且峰值很高,包年包月按峰值数量购买的话很多时间又闲置不划算,买少了又不能保障峰值和时间,可以放到按量计费资源执行。

示例

案例一:MaxCompute按量计费
8.png
如上图所示,此案例的需求特点是业务处在需要快速发展阶段,对数据基线要求高,集群利用率低,业务计算闲时占比大于50%,计算峰值是平均水位的大于2倍。这时,推荐规格为按量付费,业务处在高速发展期,使用MaxCompute相比于IDC自建集群,可以省掉集群运维成本,同时灵活的弹性资源可以满足爆发式分析资源需求。

案例二:MaxCompute包年包月
9.png
此案例的需求特点是成本控制严格,特别关注低质量SQL对计费的影响,如果是预算合同制,通过按量不容易估算成本。在前期可评估每天平均作业量和数据量,计算峰值所需核数是平均水位的5倍,但对生产性能要求不高。这时,推荐规格为包年包月的预留资源加非预留预付。如上图所示,通过独占计算资源和非预留系统抢占式计算资源的方式,以预留独享计算资源保障重要业务,非预留作为非保障业务峰值扩充资源。

大家如果对MaxCompute有更多咨询或者建议,欢迎扫码加入 MaxCompute开发者社区钉钉群,或点击链接 申请加入。
2群.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
28078 0
C# DataGridView 导出 Excel(根据Excel版本显示选择不同后缀格式xls或xlsx)
/// /// DataGridView导出至Excel,解决问题:打开Excel文件格式与扩展名指定格式不一致 /// /// 数据源表格 /// 导出时是否显示excel界面 /// ...
1688 0
理解C语言——从小菜到大神的晋级之路(2)——开发环境的选择和HelloWorld程序
视频观看:点击这里 一、常用系统及IDE简介        常言道,工欲善其事必先利其器。除了少数奇葩之外,大部分人应不会去使用记事本或者Word文档去编程吧?几乎所有编程语言都需要一个高效易用的开发环境,C语言也不例外。
1519 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
20156 0
Unity 之 关于UnityHub无法打开项目的问题(弹出Unity启动界面有退回到Hub选择工程界面)
弹出Unity启动界面有退回到Hub选择工程界面方案一:万能的重启大法;方案二:未开启许可证;方案三:终极奥义 -- 弃用Hub
479 0
+关注
亢海鹏
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。
53
文章
132
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
相关文档: MaxCompute
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载