什么是飞天?全球级大数据计算平台,自主研发!

简介: 飞天大数据平台就是数字化时代的核心技术。这是中国在新一轮科技革命中把握机遇的关键。

又一个注定载入史册的日子!7月25日。

又一个注定让人更有底气的核心科技!阿里云飞天大数据平台!

这是目前国内规模最大的计算平台,当然也是全球级的。

它可以扩展到10万台计算集群,用通俗的比喻,就相当于把10万台计算机组成一个巨大的计算力池子,当成一台超级计算机来使用;单日数据处理量超过600PB,相当于6亿部高清的电影。

大数据的重要性不言而喻,正当企业级数据已经不在话下的时候,越发体现出国家级数据量处理平台的可贵。

更重要的是,飞天是中国唯一一个自主研发的计算引擎。全球掌握这种技术的公司,仅用一只手就能数完,微软、亚马逊、谷歌,以及来自中国的阿里巴巴。


难,也要干。不难要你干什么?

“大数据”顾名思义,规模越大,价值越大。当然,计算难度也就越大!

image


早年间,总部位于加利福利亚的数据库软件公司Greenplum、Hadoop提供的开源技术,支撑了大多数互联网公司的大数据计算需求。

然而到了2008年时,中国网购注册用户暴增185%,已达1.2亿人,淘宝网上承载了9800万名注册会员。阿里巴巴意识到,依靠开源技术无法支撑未来中国互联网用户井喷的需求,自主研发大数据处理平台势在必行。

但很少有人知道,在飞天“一飞冲天”之前,阿里巴巴的技术研发行走在无人区。

那时,一头扎进云计算的中国公司只有阿里巴巴一家。自研云计算能否成功?稳不稳定?安不安全?对飞天不计成本地投入人才、资源和时间,使得从外界到公司内部的怀疑一浪高过一浪。

2013年8月15日,被认为“飞不起来”的飞天终于突破了核心技术,正式上线5000台服务器集群——这使得阿里成为世界上第一个对外提供5K云计算服务能力的科技公司。

到2016年2月,飞天的单集群规模超过10000台;三年之后,再扩大10倍至10万台。

2015年,飞天刷新了“世界计算奥运会”SortBenchmark的世界纪录,用377秒完成100TB的数据排序,打破了经典的计算引擎Apache Spark的1406秒纪录;

2016年,它再次刷新SortBenchmark的世界纪录,打破了亚马逊AWS自2014年起保持的世界纪录。中国自主研发的计算平台令世界刮目相看。

2017年,飞天云操作系统获得中国电子学会16年来颁发的唯一一个科技进步奖特等奖。这个每一行代码都由自己敲下的大数据平台,现在服务了全球200多个国家和地区、数以百万计的政府部门和企业。

仅以杭州为例,“城市大脑”可以在数分钟内优化1300个核心路口、万级交通配时的控制参数,处置110种交通警情,日均自动发现警情3万余起,是传统接处警数量的9倍。

衢州、上海、苏州、澳门、吉隆坡、北京、重庆、海口等境内外十几个城市先后落地城市大脑,这个数据驱动的“思考中枢”已覆盖交通治理、环境保护、城市精细化管理、区域经济等诸多城市治理领域。

上万家企业已全面迁移到云上。一个全社会的全面上云的拐点已经到来。


一代科技人背后,是我们时代的幸运

image

许多发展关键核心技术的故事,都有着类似的艰难与孤独。

就如当年的万吨水压机问世,让新中国具备了制造重大装备的条件。

绵阳风洞群,支撑了中国一代代战斗机的诞生。

连续多年霸占全球超算榜首的太湖一号带来的对航天事业的贡献。

中国首个诺贝尔生理学或医学奖得主屠呦呦在为世界带来青蒿素和双氢青蒿素前,经历了半个世纪的低头耕耘。

全球卫星导航系统北斗背后,是8万多人“朝受命,夕饮冰;昼无为,夜难寐”,奋斗超过20年。

时代正在斗转星移,社会的重器也在随之发生战略转移。

在1881年德国人西门子发明电车前,马车是城市最重要的驱动力。

电力时代造就了工业时代的繁荣,迄今,我们已经不能想象没有电,人类会怎样。

到今天,算力必将像电力超越马力一样,成为数字时代价值流通的主引擎。所以,算力强大与否很大程度上决定了经济发展、社会治理的核心效率。

作为数据大国,要走向数据强国,从数据当中找寻增长的动力,那就非打造强大的计算引擎不可。

而没有自主的大数据计算平台,我们很可能无法控制红绿灯,不能调度飞机……一切就将乱套,人类距离崩溃只有一个大数据平台!

毋庸讳言!飞天大数据平台就是数字化时代的核心技术。这是中国在新一轮科技革命中把握机遇的关键。

如果核心技术没有自主创新,数字化发展就会受到制约。而发展核心技术,意味着不计成本的投入、面对曲折的韧性和为社会创造价值的强烈使命感。

时不我待,唯有坚持自主创新,不断攻坚前沿技术发展战线,才能实现核心技术的根本性突破。勇于突破、精于创造,大力投入核心技术自主研发。

在这个能够迎头赶超的时代是幸运的,与这些科技公司和科技人才同在这个时代,更是荣耀的!

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
5月前
|
数据可视化 关系型数据库 MySQL
基于python大数据的的海洋气象数据可视化平台
针对海洋气象数据量大、维度多的挑战,设计基于ECharts的可视化平台,结合Python、Django与MySQL,实现数据高效展示与交互分析,提升科研与决策效率。
|
8月前
|
数据采集 人工智能 大数据
10倍处理效率提升!阿里云大数据AI平台发布智能驾驶数据预处理解决方案
阿里云大数据AI平台推出智能驾驶数据预处理解决方案,助力车企构建高效稳定的数据处理流程。相比自建方案,数据包处理效率提升10倍以上,推理任务提速超1倍,产能翻番,显著提高自动驾驶模型产出效率。该方案已服务80%以上中国车企,支持多模态数据处理与百万级任务调度,全面赋能智驾技术落地。
1160 0
|
5月前
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
444 0
|
8月前
|
分布式计算 算法 大数据
大数据时代的智能研发平台需求与阿里云DIDE的定位
阿里云DIDE是一站式智能大数据开发与治理平台,致力于解决传统大数据开发中的效率低、协同难等问题。通过全面整合资源、高度抽象化设计及流程自动化,DIDE显著提升数据处理效率,降低使用门槛,适用于多行业、多场景的数据开发需求,助力企业实现数字化转型与智能化升级。
382 1
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
878 2
|
SQL 人工智能 大数据
【4月重点功能发布】阿里云大数据+ AI 一体化平台
【4月重点功能发布】阿里云大数据+ AI 一体化平台
295 0
|
SQL 人工智能 分布式计算
【3月重点功能发布】阿里云大数据+ AI 一体化平台
【3月重点功能发布】阿里云大数据+ AI 一体化平台
303 0
|
6月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
443 14
|
8月前
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
291 4
|
7月前
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
529 0

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute