【转载】阿里云飞天大数据平台亮相

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 7月25日,阿里云飞天大数据平台亮相阿里云峰会上海站,拥有中国唯一自主研发的计算引擎,是全球集群规模最大的计算平台,最大可扩展至10万台计算集群,支撑海量数据存储和计算。在民生服务领域,飞天大数据平台已经“最多跑一次”、城市大脑等场景中,协助政府优化服务模式,实现更智能便捷的服务能力,保障信息安全。

7月25日,阿里云飞天大数据平台亮相阿里云峰会上海站,拥有中国唯一自主研发的计算引擎,是全球集群规模最大的计算平台,最大可扩展至10万台计算集群,支撑海量数据存储和计算。在民生服务领域,飞天大数据平台已经“最多跑一次”、城市大脑等场景中,协助政府优化服务模式,实现更智能便捷的服务能力,保障信息安全。

数据显示,目前飞天大数据平台可扩展至10万台计算集群,集群规模全球第一。单日数据处理量从2015年100PB、2016年180PB、2017年320PB,到2018年超过600PB,仅用三年时间提升5倍。

image


在浙江,飞天大数据平台支撑下,“最多跑一次”打通与老百姓办事最密切相关的100个事项70多亿条数据,老百姓甚至有可能一次都不跑。在杭州,城市大脑实时指挥1300个红绿灯路口、200多名交警,从2016年到2018年,杭州从全国最拥堵城市排行榜上下跌52名。

原来需要跑5个窗口、耗时2天才能拿到的新生儿出生证,现在只需在手机上动动手指,填9项信息,一个出生证就办好了;原来看一次病排队付几次费,现在可以看完回家再付钱……这样的场景正在越来越多的城市变为现实,背后有飞天大数据平台的支撑。

据了解,该平台的研发源自阿里巴巴的自身实践。十年前,新兴互联网业态蓬勃发展,中小企业在阿里巴巴电商平台上爆发式增长,商家第一次具备直接触达消费者的普惠渠道,激发庞大的消费者需求,海量数据击垮传统IT架构。在此背景下,阿里巴巴开始探索全新的技术来支撑爆发式增长的数据存储和计算需求。

大部分企业的惯例是直接使用国际开源的数据计算框架Hadoop。在阿里巴巴内部,也曾出现过激烈的争论,究竟是直接使用开源Hadoop,还是从每一行代码写起,自主研发一个大数据平台。

当时,电子商务蓬勃发展,人类社会从未有过如此规模的商业交易在一个互联网平台上进行,如果用Hadoop搭建的大数据平台,必将在不久的未来再次遇到挑战,更别提为外部企业提供服务,成为普惠的IT基础设施。

由此,阿里巴巴坚定投入飞天大数据平台研发,将成千上万台服务器组成一台超级计算机,向社会提供水电煤一样的公共服务。早在2012年初,阿里巴巴技术委员会主席王坚就表示,“从战略上来说,阿里云想做的事情实际上可以解读为Amazon+Google并有所超越。将单一集群做到数千乃至更高,技术上是国家和企业竞争力的标志。阿里巴巴必须攻克这道难关。”

也正是因为这一坚持,才有了今天中国唯一自主研发的飞天大数据平台。过去十年,飞天大数据平台打破了多个记录:2013年,突破了单集群内5000台服务器同时计算的局限,如今单集群已超过1万台的规模;2015年,打破计算界奥运会SortBenchmark的4个世界纪录,用不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录。


可通过 MaxCompute 了解更多有关阿里云飞天大数据平台

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
image

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
13天前
|
人工智能 分布式计算 Cloud Native
阿里云大数据AI产品月刊-2025年9月
大数据& AI 产品技术月刊【2025年 9 月】,涵盖 9 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
阿里云大数据AI产品月刊-2025年9月
|
3月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
176 0
|
1月前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
189 1
|
1月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
147 1
|
26天前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
105 14
|
2月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
96 0
|
3月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
109 4
|
3月前
|
分布式计算 DataWorks 数据处理
在数据浪潮中前行:记录一次我与ODPS的实践、思考与展望
本文详细介绍了在 AI 时代背景下,如何利用阿里云 ODPS 平台(尤其是 MaxCompute)进行分布式多模态数据处理的实践过程。内容涵盖技术架构解析、完整操作流程、实际部署步骤以及未来发展方向,同时结合 CSDN 博文深入探讨了多模态数据处理的技术挑战与创新路径,为企业提供高效、低成本的大规模数据处理方案。
231 3
|
27天前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
104 14

相关产品

  • 云原生大数据计算服务 MaxCompute