什么是飞天?全球级大数据计算平台,自主研发!

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 飞天大数据平台就是数字化时代的核心技术。这是中国在新一轮科技革命中把握机遇的关键。

又一个注定载入史册的日子!7月25日。

又一个注定让人更有底气的核心科技!阿里云飞天大数据平台!

这是目前国内规模最大的计算平台,当然也是全球级的。

它可以扩展到10万台计算集群,用通俗的比喻,就相当于把10万台计算机组成一个巨大的计算力池子,当成一台超级计算机来使用;单日数据处理量超过600PB,相当于6亿部高清的电影。

大数据的重要性不言而喻,正当企业级数据已经不在话下的时候,越发体现出国家级数据量处理平台的可贵。

更重要的是,飞天是中国唯一一个自主研发的计算引擎。全球掌握这种技术的公司,仅用一只手就能数完,微软、亚马逊、谷歌,以及来自中国的阿里巴巴。


难,也要干。不难要你干什么?

“大数据”顾名思义,规模越大,价值越大。当然,计算难度也就越大!

image


早年间,总部位于加利福利亚的数据库软件公司Greenplum、Hadoop提供的开源技术,支撑了大多数互联网公司的大数据计算需求。

然而到了2008年时,中国网购注册用户暴增185%,已达1.2亿人,淘宝网上承载了9800万名注册会员。阿里巴巴意识到,依靠开源技术无法支撑未来中国互联网用户井喷的需求,自主研发大数据处理平台势在必行。

但很少有人知道,在飞天“一飞冲天”之前,阿里巴巴的技术研发行走在无人区。

那时,一头扎进云计算的中国公司只有阿里巴巴一家。自研云计算能否成功?稳不稳定?安不安全?对飞天不计成本地投入人才、资源和时间,使得从外界到公司内部的怀疑一浪高过一浪。

2013年8月15日,被认为“飞不起来”的飞天终于突破了核心技术,正式上线5000台服务器集群——这使得阿里成为世界上第一个对外提供5K云计算服务能力的科技公司。

到2016年2月,飞天的单集群规模超过10000台;三年之后,再扩大10倍至10万台。

2015年,飞天刷新了“世界计算奥运会”SortBenchmark的世界纪录,用377秒完成100TB的数据排序,打破了经典的计算引擎Apache Spark的1406秒纪录;

2016年,它再次刷新SortBenchmark的世界纪录,打破了亚马逊AWS自2014年起保持的世界纪录。中国自主研发的计算平台令世界刮目相看。

2017年,飞天云操作系统获得中国电子学会16年来颁发的唯一一个科技进步奖特等奖。这个每一行代码都由自己敲下的大数据平台,现在服务了全球200多个国家和地区、数以百万计的政府部门和企业。

仅以杭州为例,“城市大脑”可以在数分钟内优化1300个核心路口、万级交通配时的控制参数,处置110种交通警情,日均自动发现警情3万余起,是传统接处警数量的9倍。

衢州、上海、苏州、澳门、吉隆坡、北京、重庆、海口等境内外十几个城市先后落地城市大脑,这个数据驱动的“思考中枢”已覆盖交通治理、环境保护、城市精细化管理、区域经济等诸多城市治理领域。

上万家企业已全面迁移到云上。一个全社会的全面上云的拐点已经到来。


一代科技人背后,是我们时代的幸运

image

许多发展关键核心技术的故事,都有着类似的艰难与孤独。

就如当年的万吨水压机问世,让新中国具备了制造重大装备的条件。

绵阳风洞群,支撑了中国一代代战斗机的诞生。

连续多年霸占全球超算榜首的太湖一号带来的对航天事业的贡献。

中国首个诺贝尔生理学或医学奖得主屠呦呦在为世界带来青蒿素和双氢青蒿素前,经历了半个世纪的低头耕耘。

全球卫星导航系统北斗背后,是8万多人“朝受命,夕饮冰;昼无为,夜难寐”,奋斗超过20年。

时代正在斗转星移,社会的重器也在随之发生战略转移。

在1881年德国人西门子发明电车前,马车是城市最重要的驱动力。

电力时代造就了工业时代的繁荣,迄今,我们已经不能想象没有电,人类会怎样。

到今天,算力必将像电力超越马力一样,成为数字时代价值流通的主引擎。所以,算力强大与否很大程度上决定了经济发展、社会治理的核心效率。

作为数据大国,要走向数据强国,从数据当中找寻增长的动力,那就非打造强大的计算引擎不可。

而没有自主的大数据计算平台,我们很可能无法控制红绿灯,不能调度飞机……一切就将乱套,人类距离崩溃只有一个大数据平台!

毋庸讳言!飞天大数据平台就是数字化时代的核心技术。这是中国在新一轮科技革命中把握机遇的关键。

如果核心技术没有自主创新,数字化发展就会受到制约。而发展核心技术,意味着不计成本的投入、面对曲折的韧性和为社会创造价值的强烈使命感。

时不我待,唯有坚持自主创新,不断攻坚前沿技术发展战线,才能实现核心技术的根本性突破。勇于突破、精于创造,大力投入核心技术自主研发。

在这个能够迎头赶超的时代是幸运的,与这些科技公司和科技人才同在这个时代,更是荣耀的!

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
3月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
192 1
|
5天前
|
SQL 人工智能 自然语言处理
DataWorks年度发布:智能化湖仓一体数据开发与治理平台的演进
阿里云在过去15年中持续为268集团提供数据服务,积累了丰富的实践经验,并连续三年在IDC中国数据治理市场份额中排名第一。新一代智能数据开发平台DateWorks推出了全新的DateStudio IDE,支持湖仓一体化开发,新增Flink计算引擎和全面适配locs,优化工作流程系统和数据目录管理。同时,阿里云正式推出个人开发环境模式和个人Notebook,提升开发者体验和效率。此外,DateWorks Copilot通过自然语言生成SQL、代码补全等功能,显著提升了数据开发与分析的效率,已累计帮助开发者生成超过3200万行代码。
|
2月前
|
SQL 数据采集 分布式计算
【赵渝强老师】基于大数据组件的平台架构
本文介绍了大数据平台的总体架构及各层的功能。大数据平台架构分为五层:数据源层、数据采集层、大数据平台层、数据仓库层和应用层。其中,大数据平台层为核心,负责数据的存储和计算,支持离线和实时数据处理。数据仓库层则基于大数据平台构建数据模型,应用层则利用这些模型实现具体的应用场景。文中还提供了Lambda和Kappa架构的视频讲解。
245 3
【赵渝强老师】基于大数据组件的平台架构
|
5月前
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
3月前
|
机器学习/深度学习 监控 搜索推荐
电商平台如何精准抓住你的心?揭秘大数据背后的神秘推荐系统!
【10月更文挑战第12天】在信息爆炸时代,数据驱动决策成为企业优化决策的关键方法。本文以某大型电商平台的商品推荐系统为例,介绍其通过收集用户行为数据,经过预处理、特征工程、模型选择与训练、评估优化及部署监控等步骤,实现个性化商品推荐,提升用户体验和销售额的过程。
116 1
|
3月前
|
Oracle 大数据 数据挖掘
企业内训|大数据产品运营实战培训-某电信运营商大数据产品研发中心
本课程是TsingtaoAI专为某电信运营商的大数据产品研发中心的产品支撑组设计,旨在深入探讨大数据在电信运营商领域的应用与运营策略。通过密集的培训,从数据的本质与价值出发,系统解析大数据工具和技术的最新进展,深入剖析行业内外的实践案例。课程涵盖如何理解和评估数据、如何有效运用大数据技术、以及如何在不同业务场景中实现数据的价值转化。
68 0
|
5月前
|
机器学习/深度学习 搜索推荐 算法
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
|
5月前
|
存储 人工智能 搜索推荐
飞天大数据平台产品问题之阿里云OpenSearch的定义如何解决
飞天大数据平台产品问题之阿里云OpenSearch的定义如何解决
|
5月前
|
搜索推荐 OLAP 流计算
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
OneSQL OLAP实践问题之基于 Flink 打造流批一体的数据计算平台如何解决
68 1
|
5月前
|
数据可视化
Echarts数据可视化大屏开发| 大数据分析平台
Echarts数据可视化大屏开发| 大数据分析平台

相关产品

  • 云原生大数据计算服务 MaxCompute