MaxCompute存储力持续升级,每年节省不止一个亿-阿里云开发者社区

开发者社区> 晋恒> 正文

MaxCompute存储力持续升级,每年节省不止一个亿

简介: MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。
+关注继续查看

数据是开启全新洞察和机器智能创新的基础,拥有高性能、稳定、可扩展性强的存储能力和充沛的计算力,才能全面释放数据价值。

阿里巴巴大数据计算平台MaxCompute,作为阿里巴巴统一的计算平台,支持了整个阿里巴巴集团内部几乎99%的数据存储,数据规模已至EB级。同时,MaxCompute也在为数以万计的云上用户提供快速、完全托管的 GB到EB 级数据仓库解决方案,解决用户海量数据存储与计算问题。所以说,如何提高数据存储效率、稳定性、可用性,是MaxCompute存储团队不断努力的方向。

从MaxCompute整体存储架构来看,存储层处于MaxCompute Tasks和底层盘古分布式文件系统之间,提供统一的逻辑数据模型给各种各样的计算任务(包括SQL,XLib,Graph,PAI等),以保证数据在不同类型的Task之间可以互联互通,同时存储引擎提供逻辑数据模型到DFS的映射、数据编码压缩和文件存储格式、冷热数据分离与文件合并归档等方面的服务。

在本次存储升级中,MaxCompute利用新一代数据压缩算法提供更高压缩率,并且在不同数据集中都有极佳性能,持续提升MaxCompute存储和计算能力,带来存储费用的下降和计算性能的提升。

新压缩算法在10TB TPC-DS测试集下,压缩节省8.38%, 计算节省4.35%。

image

从资源成本角度看,新压缩算法比原有算法快5.3%。

image

MaxCompute作为阿里巴巴的“水电煤”,数据规模巨大,数据的压缩率和压缩速度对整个平台的性能和成本都有着巨大的意义。MaxCompute存储团队采用新一代的压缩算法作为底层压缩的替代方案,为大规模数据存储和数据计算带来了巨大收益。

整体存储变化趋势
image

存储账单变化
image

经实践,在业务增长量不变的情况下,升级新一代数据压缩算法后,在阿里巴巴集团内部每年可节省存储费用可一个亿。

对于业务跑在MaxCompute上的公共云客户而言,本次存储升级无疑是阿里巴巴技术红利的又一次释放,为企业和开发者们提供具备更高存储效率、稳定性以及可用性的存储服务,降低存储成本的同时进一步提升计算性能。

一次升级,集团内外,每年节省不止一个亿。

接下来,MaxCompute会持续在存储加密、冷热数据分离与文件合并归档、文件格式支持AliOrc以及存储和计算的结合方面持续发力,用先进的技术不断打磨产品,为云上企业释放更多技术红利,帮助企业和开发者抓住更多市场机遇。

更多有关MaxCompute产品和技术问题,欢迎加入“MaxCompute开发者钉钉群”与大数据开发者一起交流。

image

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
x3d
自从升级到macOS后,整个人都不好了
电脑一直莫名的随机卡死,各种软件都出现了一些崩溃和不稳定的情况。 Siri就是个笑话,启用后就开始索引本地硬盘,不管你有没有正在工作;直到你启动Siri,会暂停一下,然后就算是你开在哪不动,过两分钟,后台又开始索引,不管你在干嘛。
623 0
8系列TEE-Lite异常中断向量表和服务程序的存储结构
本次介绍主要介绍和异常,中断相关的几种存储方式,在传统的处理器设计中,中断和异常是需要通过异常/中断向量表作为索引的,根据不同的应用场景会出现一张或者多张一场异常/中断向量表。
270 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7773 0
hbase源码系列(九)StoreFile存储格式
从这一章开始要讲Region Server这块的了,但是在讲Region Server这块之前得讲一下StoreFile,否则后面的不好讲下去,这块是基础,Region Sever上面的操作,大部分都是基于它来进行的。
2666 0
SQL命令查询Oracle存储过程信息(代码内容等)
SELECT * FROM ALL_SOURCE  where TYPE='PROCEDURE'  AND TEXT LIKE '%0997500%'; --查询ALL_SOURCE中,(脚本代码)内容与0997500模糊匹配的类型为PROCEDURE(存储过程)的信息。
555 0
对象存储OSS标准型降价回馈,分享存储规模和技术升级的红利
为回馈客户并分享OSS存储规模和技术不断升级带来的红利,阿里云OSS标准型存储单价,中国大陆所有区域统一降为0.120元/GB/月,降幅18.9%。
5040 0
+关注
晋恒
大数据计算服务MaxCompute产品运营
190
文章
22
问答
来源圈子
更多
MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载