MaxCompute 规格详解|学习笔记

简介: 快速学习 MaxCompute 规格详解

开发者学堂课程【SaaS 模式云数据仓库系列课程 —— 2021数仓必修课:MaxCompute 规格详解】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/55/detail/1027


MaxCompute 规格详解


内容简介:

MaxCompute 服务模式

MaxCompute 规格介绍

MaxCompute 选择与使用

MaxCompute 前期考虑:成本+业务

 

MaxCompute 服务模式

开通 MaxCompute= 服务注册

开通 MaxCompute 相当于对服务进行注册,同时产生有协议的订单,订单成功后即可使用该服务。

按量计费整个订单计费模式都为使用之后再按量计费,包括计算、存储、下载几大块主要功能。

开通时为 0 元开通,开通后若不使用则无费用产生。

包年包月订单计费模式为混合模式,计算资源是按包年包月进行预付费,存储和下载则为使用之后在按量计费。

开通时需要预先对计算资源进行付款。


MaxCompute规格介绍

按量计费

按量计算——标准版

计算资源

极致的弹性计算资源,资源池为共享型,计算任务按需抢占,不可指定使用量也无使用限制。

包括 SQL(含UDF ) 、MapReduce、Spark、交互式分析( Lightning )  Graph 等计算类型资源

存储资源

资源池为共享型,按需存储,无使用限制。包括表 (Table )和资源(Resource ) 等存储。

上传、下载数据资源

资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel 的 Upload、Download 资源。

计算资源(CU)收费:按各计算类型任务使用量计费。当前仅SQL.MR.Spark、交互式分析几类计算任务有计费。

存储收费∶只收表( Table )存储的容量费用。且容量大小是压缩后的数据。

数据上传、下载收费︰数据上传至MaxCompute 为免费;仅对通过公网下载进行按量收费

按量计算——开发者版

计算资源

资源池为共享型,计算任务按需抢占资源,不可指定使用量:

·只提供 MaxCompute SQL( 支持使用UDF)、PyODPS 计算资源;

·—个 region 只能有一个项目选择使用开发者版资源;

·每个项目最大作业并发数为 5 个;

·单作业最多只能占用 10CU 计算资源。

存储资源

资源池为共享型,按需存储。每个项目最大存储量限制在 500GB (含临时数据大小),超过 500GB 将无法存入。

上传、下载数据资源

资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel 的 Upload、Download 资源。

计算资源( CU) 收费:计算作业按照数据扫描量计费。每个月赠送价值 100元的免费计算量,即每月可免费执行扫描 666GB 数据的作业量,超出部分将按量计费。

存储收费:每个项目空间可免费且只能存储500GB资源。

数据上传、下载收费:数据上传至MaxCompute 为免费;仅对通过公网下载进行按量收费。

包年包月——标准计算资源

计算资源

包含计算资源单元和非预留计算资源两种。

计算资源单元即为预留计算资源,必选资源。资源池为独享型,按购买 CU 量固定分配资源。非预留计算资源为非必选资源,资源数量在 [0,购买量]区间内且不可独享。

计算任务只能占用预留和非预留计算资源。资源可以执行 SQL(含 UDF )、MapReduce、Spark、Graph 等计算类型任务。

存储资源

资源池为共享型,按需存储,无使用限制。包括表 (Table )和资源(Resource) 等存储。

上传、下载数据资源

资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel 的 Upload、Download 资源。

计算资源( CU) 收费:服务开通生成订单时就需要预先付费,按 CU 量和购买时长进行收费。预留和非预留资源单价不一样。

存储收费:只收表 ( Table )存储的容量费用。且容量大小是压缩后的数据。

数据上传、下载收费:数据上传至MaxCompute 为免费;仅对通过公网下载进行按量收费。

包年包月——套餐版

计算资源

套餐中的预留计算资源为独享资源,按购买套餐固定分配计算资源。非预留计算资源为非必选资源,资源数量在[0,购买量]区间内且不可独享。

计算任务只能占用预留和非预留计算资源。资源可以执行 SQL(含 UDF )、MapReduce、Spark、Graph 等计算类型任务。

存储资源

资源池为共享型,按需存储,无使用限制。包括表 (Table ) 和资源(Resource ) 等存储。

上传、下载数据资源

资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel 的 Upload、Download 资源。

计算资源( CU)收费:服务开通生成订单时就需要预先付费,按套餐和购买时长进行收费。预留和非预留资源单价不一样。

存储收费:只收表(Table )存储的容量费用。且容量大小是压缩后的数据。每日按购买的套餐提供固定的存储量,超出的量另行计费。

数据上传、下载收费:数据上传至MaxCompute 为免费;仅对通过公网下载进行按量收费。

包年包月——套餐

计算资源

资源数量为[0.购买量]范围内的弹性资源池。

购买后系统不预留资源,任务发起后,系统会在总资源池抢占并分配空闲资源。如果总资源池中空闲资源充足则可能为您分配所购买的最大 CU 量;如果总资源池繁忙则可能为您分配0CU。MaxCompute 可保障您购买的非预留计算资源全天 50% 的计算力(一天计算力︰资源数量*24 小 时)。资源可以执行 SQL(含 UDF )、MapReduce、Spark、Graph 等计算类型任务。

存储资源

资源池为共享型,按需存储,无使用限制。包括表(Table ) 和资源(Resource )等存储。

上传、下载数据资源

资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel 的 Upload、Download 资源。

计算资源(  CU) 收费:服务开通生成订单时就需要预先付费,按 CU 量和购买时长进行收费。

存储收费:只收表 (Table )存储的容量费用。且容量大小是压缩后的数据。

数据上传、下载收费:数据上传至 MaxCompute为免费;仅对通过公网下载进行按量收费。

MaxCompute选择与使用

如何选择生产计算资源?

计算资源需求场景

资源类型

规格优势

规格劣势

极致的弹性计算资源需求

按量计费标准版

计算资源弹性使用,按量付费,其中SQL单价为0.3元/GB/1复杂度

资源不受限,峰值有保障

费用不受控

目前有消费监控告警

重预算重基线

包年包月预留计算资源

独享计算资源,购买后系统固定预留CU。包年包月标准版和套餐中的计算资源单元均为预留计算资源。其中标准版预留计算资源单价为150元/CU/月。

资源独享,预算可控

资源受限不利于超高峰值任务

重预算轻基线

包年包月非预留计算资源

预付弹性计算资源池,购买后使用时可获得[0,购买量]的弹性资源,单价为40元 /CU/ 月。

价格低廉,预算可控

资源不可独享,忙时不能保障峰值

按量付费使用

计算资源使用

使用灵活,无需对资源进行管理,只需要按业务进行项目规划。

重点提醒∶配置好相关消费监控告警,避免高额账单。

存储资源使用

无使用限制,无需关注存储资源,只需要按业务需求进行数据存放。

重点提醒∶管理好数据生命周期,存在多 project 时在满足业务需求同时集中存放数据。

包年包月预留资源使用

购买预留计算资源

开通包年包月模式︰选择“标准计算资源”同时非预留计算资源为 0;或者选择 3 种套餐中的任何一种,同时非预留计算资源为 0。

使用非预留计算资源

包年包月非预留资源使用

购买非预留计算资源

当前仅国内上海、北京、杭州、深圳 4 个 region 可购买。

使用非预留计算资源

非预留计算资源使用方式和预留计算资源一样。

包年包月和按量计费混合使用

按业务需求,可以同时开通两种模式,混合使用。

比如,任务的业务数据量很大但是时间要求不高,按量计费不划算可以使用包年包月资源慢慢执行.

比如,任务需要强保障时间,且峰值很高,包年包月按峰值数量购买的话很多时间又闲置不划算,买少了又不能保障峰值和时间,可以放到按量计费资源执行。

案例一:MaxCompute 按量计费

需求特点

业务处在需要快速发展阶段,对数据基线要求高

集群利用率低,业务计算闲时占比大于 50%

计算峰值是平均水位的大于 2 倍

推荐规格︰

按量付费

---SqlQuery 0.3元/GB/ 复杂度;弹性资源抢占,最大资源支持上万核

规格特点

业务处在高速发展期,使用 MaxCompute 相比于 IDC 自建集群,可以省掉集群运维成本,同时灵活的弹性资源可以满足爆发式分析资源需求。

案例二:MaxCompute包年包月

需求特点

成本控制严格,非常在意低质量 S QL 对计费的影响,或预算合同制、按量不好估算成本

前期既可评估每天平均作业量和数据量

计算峰值所需核数是平均水位的 5 倍,但对生产性能要求不高

推荐规格∶

包年包月的预留资源+非预留预付费

---独占计算资源+非预留系统抢占式计算资源

规格特点

预留独享计算资源保障重要业务,非预留作为非保障业务峰值扩充资源。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
20天前
|
SQL 分布式计算 大数据
Python+大数据学习笔记(一)
Python+大数据学习笔记(一)
50 0
|
SQL 分布式计算 运维
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
快速学习开源大数据 OLAP 引擎最佳实践
1448 0
开源大数据 OLAP 引擎最佳实践 | 学习笔记(二)
|
20天前
|
关系型数据库 MySQL 大数据
大数据开发工程师基本功修炼之Linux学习笔记(四)
大数据开发工程师基本功修炼之Linux学习笔记(四)
112 1
|
7月前
|
大数据
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
数据治理专业认证CDMP学习笔记(思维导图与知识点)- 第14章大数据与数据科学篇
|
存储 分布式计算 监控
大数据 SRE 体系能力建设(二)| 学习笔记
快速学习大数据 SRE 体系能力建设。
262 0
大数据 SRE 体系能力建设(二)| 学习笔记
|
传感器 大数据
大数据的学习笔记第一次学习
大数据的学习笔记 (一)
|
存储 SQL 分布式计算
MaxCompute 新售卖规格解读与新版控制台操作详解
MaxCompute近期推出新版控制和新的售卖规格,新售卖规格包含弹性预留CU、资源抵扣包。本文为您介绍新售卖规格的特性、限制以及新版控制包含的具体功能以及相关操作。
405 0
MaxCompute 新售卖规格解读与新版控制台操作详解
|
canal SQL 弹性计算
如何将 PolarDB-X 与大数据等系统互通|学习笔记
快速学习如何将 PolarDB-X 与大数据等系统互通
272 0
如何将  PolarDB-X  与大数据等系统互通|学习笔记
|
存储 SQL 分布式计算
湖仓一体新能力解读| 学习笔记
快速学习湖仓一体新能力解读
420 0
湖仓一体新能力解读| 学习笔记
|
canal 弹性计算 分布式计算
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)
快速学习如何将 PolarDB-X 与大数据等系统互通
224 0
如何将 PolarDB-X 与大数据等系统互通|学习笔记(一)

热门文章

最新文章