飞天大数据产品价值解读— SaaS 模式云数据仓库 MaxCompute | 学习笔记(五)

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 快速学习飞天大数据产品价值解读— SaaS 模式云数据仓库 MaxCompute

开发者学堂课程【SaaS 模式云数据仓库实战飞天大数据产品价值解读—  SaaS 模式云数据仓库 MaxCompute学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/760/detail/13341


飞天大数据产品价值解读— SaaS 模式云数据仓库 MaxCompute


二十三、云上大数据仓库解决方案

1. 方案说明:

适用于互联网、金融、政府、传统企业等大数据仓库

2.方案优势:

阿里巴巴大数据最佳实践,高性能、低成本、Severless服务,免运维、全托管模式,让企业的大数据研发人员更聚焦在业务数据的开发上

3.产品组合∶

MaxCompute+DataWorks+Flink场景说明:

(1)用户数据来源丰富,包括来自云端的数据,以及外部数据源,数据统一沉淀,完成数据清洗、建模;

(2)用户的应用场景复杂,对非结构化语音、自然语言文本进行语音识别、语义分析、情感分析等,同时融合结构化数据搭建企业级的数据管理平台,并且计算和存储成本最低;

(3)平台支撑多种形式的应用,包括使用机器学习算法进行复杂数据分析、使用BI报表进行图表展现、使用可视化产品进行大屏展示、使用其他自定义的方式消费数据。

4.功能说明:

(1)多种数据源同步到大数据计算服务

(2)对结构化数据和非结构化数据(UDF)进行处理

(3)进行大数据计算和分析

(4)为其他应用提供计算支持

 

二十四、MaxCompute 产品规格介绍

在此对于产品本身特点已经有一定了解,但真正使用产品时仍需要注意,由于MaxCompute是基于Servless架构,所以提供按量计费,对于许多初期使用和对弹性要求很高时,建议使用按量付费,因其能够获得最极致的弹性和业务的快速变化波动下能够实时的匹配业务,这是按量付费模式的最大特点。当不做使用的适合不会产生费用。

同时许多用户平台已经较为成熟稳定,此时需要选择包年包月,购买长期使用,由此可享受折扣,单价较低。由此可以更好的控制成本。

1. MaxCompute 服务模式

①开通MaxCompute服务注册

开通MaxCompute相当于对服务进行注册,同时产生有协议的订单,订单成功后即可使用该服务。

②按量计费

整个订单计费模式都为使用之后再按量计费,包括计算、存储、下载几大块主要功能。

开通时为0元开通,开通后若不使用则无费用产生。

③包年包月

订单计费模式为混合模式,计算资源是按包年包月进行预付费,存储和下载则为使用之后在按量计费。

开通时需要预先对计算资源进行付款。

2. 按量计费-标准版

按量付费中收费点如下:第一是计算,计算是按照作业收费,提交一个作业就收取一个作业的费用,如果并未使用则不收取费用。每个作业按照需要使用,按量付费的一大特点是弹性的计算资源。第二,存储资源,之前说过,其为存储计算分离,而需要按照实际存储的大小付费。MaxCompute是高度压缩的格式,基本的数据会有3-5的压缩比不等,该模式就可以很大的降低压缩成本。第三是数据无网下载的成本。

(1)基础资源

①计算资源

极致的弹性计算资源,资源池为共享型,计算任务按需抢占,不可指定使用量也无使用限制。

包括SQL(含UDF ) 、MapReduce.Spark、交互式分析( Lightning ) 、 Graph等计算类型资源。

②存储资源

资源池为共享型,按需存储,无使用限制。包括表(Table )和资源(Resource )等存储。

③上传、下载数据资源

资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload.Download资源。

(2)计费说明

①计算资源(CU)收费︰

按各计算类型任务使用量计费。当前仅SQL、MR、Spark、交互式分析几类计算任务有计费。

②存储收费:

只收表(Table )存储的容量费用。且容量大小是压缩后的数据。

③数据上传、下载收费:

数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费

3. 包年包月-标准计算资源

除了按量付费还有包年包月,其中计算就不产生额外花销,而存储仍旧按照实际大小的存储收费。

(1)基础资源

①计算资源

包含计算资源单元和非预留计算资源两种。

计算资源单元即为预留计算资源,必选资源。资源池为独享型,按购买CU量固定分配资源。非预留计算资源为非必选资源,资源数量在[O,购买量]区间内且不可独享。

计算任务只能占用预留和非预留计算资源。资源可以执行SQL (含UDF )、MapReduce,Spark、Graph等计算类型任务。

②存储资源

资源池为共享型,按需存储,无使用限制。包括表(Table )和资源(Resource)等存储。

③上传、下载数据资源

资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload.Download资源。

(2)计费说明

①计算资源(CU)收费:

服务开通生成订单时就需要预先付费,按CU量和购买时长进行收费。预留和非预留资源单价不一样。

②存储收费:

只收表(Table )存储的容量费用。且容量大小是压缩后的数据。

③数据上传、下载收费:

数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费

4.包年包月-套餐版

最后就是包年包月的套餐版,经常在客户选型根据自身线下的集群,数据平台的规格,去做云上的选型,此时往往多需要做固定的资源选型,套餐的模式中就同时包含了计算和存储两部分费用,购买一个套餐后存储和计算就不会产生额外开销。同时两者组合之后的成本更加优惠。

(1)基础资源

①计算资源

套餐中的预留计算资源为独享资源,按购买套餐固定分配计算资源。非预留计算资源为非必选资源,资源数量在[o,购买量]区间内且不可独享。

计算任务只能占用预留和非预留计算资源。资源可以执行SQL(含UDF )、MapReduce,Spark、Graph等计算类型任务。

②存储资源

资源池为共享型,按需存储,无使用限制。包括表( Table )和资源(Resource )等存储。

③上传、下载数据资源

资源池为共享型,按需抢占,不可指定用量也无使用限制。主要包括Tunnel的Upload、Download资源。

(2)计费说明

①计算资源(CU)收费:

服务开通生成订单时就需要预先付费,按套餐和购买时长进行收费。预留和非预留资源单价不一样。

②存储收费:

只收表(Table)存储的容量费用。且容量大小是压缩后的数据。每日按购买的套餐提供固定的存储量,超出的量另行计费

③数据上传、下载收费:

数据上传至MaxCompute为免费;仅对通过公网下载进行按量收费

 

二十五、总结

MaxCompute作为阿里云飞天大数据的核心数据仓库产品,有几大关键特性,第一,它是被阿里内部,以及云上众多客户广泛使用的可信赖平台;第二,它是满足数据平台在新时代技术变革的技术化需求,既能在一份数据上有多种计算化模型,满足BI,实时数仓,机械学习,数据湖等等多种使用场景的需要;第三,MaxCompute在长期的技术投入下有极高的性能和低成本,接入MaxCompute企业可以构建低成本,可持续发展的一个平台;第四,MaxCompute因为具有统一源数据和超大规模存储的能力,企业的数据可以集中一起通过统一的源数据和数据资产管理,能够在企业内部赋能每个企业中的员工,在安全共享的环境下去使用分析数据,也是阿里云的数据中台中最佳的技术底座。

1.MaxCompute -被广泛使用的可信赖的企业数据平台

2.MaxCompute -符合现代企业数字化需求的领先数据平台

3.MaxCompute -基于云的低成本、高效能的

4.MaxCompute -赋能数据驱动的组织变革,敏捷数据平台数据仓库/数据中台的理想技术底座

 

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 人工智能 分布式计算
阿里云云数据仓库:助力企业构建智能数据基石的云端利器 。阿里云云数据仓库优势与选型指南
阿里云数据仓库体系基于MaxCompute、AnalyticDB等核心产品,提供弹性敏捷的PB级数据处理能力,支持实时分析与智能决策。其六大优势包括无限弹性伸缩、极致性能表现、智能成本优化、全栈安全体系、生态无缝对接和AI增强分析,助力企业在数字经济时代应对数据爆发式增长的挑战。灵活透明的定价体系和行业实践案例展示了其在证券、新零售、物联网等领域的成功应用,为企业构建智能数据基座提供了清晰路径。
69 6
|
6月前
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
81 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
5月前
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。对象如用户、账号、商品等,通过唯一ID记录其相关事件,如操作日志、交易记录等。这种模式下的统计任务包括无序计算(如交易次数、通话时长)和有序计算(如漏斗分析、连续交易检测)。尽管SQL在处理无序计算时表现尚可,但在有序计算中却显得力不从心,主要原因是其对跨行记录运算的支持较弱,且大表JOIN和大结果集GROUP BY的性能较差。相比之下,SPL语言通过强化离散性和有序集合的支持,能够高效地处理这类计算任务,避免了大表JOIN和复杂的GROUP BY操作,从而显著提升了计算效率。
|
6月前
|
SQL 存储 算法
基于对象 - 事件模式的数据计算问题
基于对象-事件模式的数据计算是商业中最常见的数据分析任务之一。这种模式涉及对象(如用户、账户、商品等)及其相关的事件记录,通过这些事件数据可以进行各种统计分析,如漏斗分析、交易次数统计等。然而,SQL 在处理这类任务时表现不佳,特别是在有序计算方面。SPL 作为一种强化离散性和有序集合的语言,能够高效地处理这类计算,避免了大表 JOIN 和大结果集 GROUP BY 的性能瓶颈。通过按 ID 排序和分步计算,SPL 能够显著提高计算效率,并支持实时数据处理。
|
6月前
|
分布式计算 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(一)
135 5
|
6月前
|
资源调度 大数据 分布式数据库
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
大数据-158 Apache Kylin 安装配置详解 集群模式启动(二)
104 2
|
6月前
|
消息中间件 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
78 2
|
1月前
|
SQL 分布式计算 数据挖掘
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
|
3月前
|
SQL 数据可视化 大数据
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
300 92
|
29天前
|
传感器 机器学习/深度学习 人工智能
数据让农业更聪明——用大数据激活田间地头
数据让农业更聪明——用大数据激活田间地头
47 2

热门文章

最新文章