【百科】详解阿里云技术核心——飞天

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 飞天(Apsara)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力。

飞天(Apsara)是由阿里云自主研发、服务全球的超大规模通用计算操作系统。它可以将遍布全球的百万级服务器连成一台超级计算机,以在线公共服务的方式为社会提供计算能力。

 从PC互联网到移动互联网到万物互联网,互联网成为世界新的基础设施。飞天希望解决人类计算的规模、效率和安全问题。飞天的革命性在于将云计算的三个方向整合起来:提供足够强大的计算能力,提供通用的计算能力,提供普惠的计算能力。

飞天诞生于2009年2月,目前为全球200多个国家和地区的创新创业企业、政府、机构等提供服务。

 46b43f0c152b6fe8060662f1f2bb52470879029f

为什么叫飞天?

在世界神话中,不乏飞向太空这个主题,这是人类对探索的终极想象力的定义:飞向未知的浩瀚苍穹。在中国神话中,轻盈,美好的飞天更承载了幸福与快乐的意义。所以阿里云把自己开发的通用计算操作系统命名为“飞天”,是希望通过计算让人类的想象力与创造力得到最大的释放。


飞天的主要组成部分包括哪些,架构是怎样的? 

  8f7343e98ba3b4b95bf9830af22e05cfa628e55c

  • 飞天管理着互联网规模的基础设施。最底层是遍布全球的几十个数据中心,数百个PoP节点。飞天所管理的这些物理基础设施还在不断扩张。
  • 飞天内核跑在每个数据中心里面,它负责统一管理数据中心内的通用服务器集群,调度集群的计算、存储资源,支撑分布式应用的部署和执行,并自动进行故障恢复和数据冗余。
  • 安全管理根植在飞天内核最底层。飞天内核提供的授权机制,能够有效实现“最小权限原则(Principle of least privilege)”。同时,还建立了自主可控的全栈安全体系。
  • 监控报警诊断是飞天内核的最基本能力之一。飞天内核对上层应用提供了非常详细的、无间断的监控数据和系统事件采集,能够回溯到发生问题的那一刻现场,帮助工程师找到问题的根源。
  • 在基础公共模块之上,有两个最核心的服务,一个叫盘古,一个叫伏羲。盘古是存储管理服务,伏羲是资源调度服务,飞天内核之上应用的存储和资源的分配都是由盘古和伏羲管理。
  • 在基础公共模块边上,还有一个服务,叫做天基。意思是“飞天的基础”。天基是飞天的自动化运维服务,负责飞天各个子系统的部署、升级、扩容以及故障迁移。
  • 飞天核心服务分为:计算、存储、数据库、网络。
  • 为了帮助开发者便捷地构建云上应用,飞天提供了丰富的连接、编排服务,将这些核心服务方便地连接和组织起来,包括:通知、队列、资源编排、分布式事务管理等等。
  • 飞天接入层包括数据传输服务,数据库同步服务,CDN内容分发以及混合云高速通道等服务。
  • 飞天最顶层是阿里云打造的软件交易与交付第一平台------云市场。它如同云计算的“App Store”,用户可在阿里云官网一键开通“软件+云计算资源”。云市场上架在售商品几千个,支持镜像、容器、编排、API、SaaS、服务、下载等类型的软件与服务接入。
  • 飞天有一个全球统一的账号体系。灵活的认证授权机制让云上资源可以安全灵活地在租户内或租户间共享。
  • 七年实践,飞天已经建立一个完善的云产品体系。同时还能提供互联网级别的租户管理和业务支撑服务。


飞天操作系统的核心竞争力和核心能力是什么?

  • 自主可控:对云计算底层技术体系的把控力,自主研发,自己解决核心问题。
  • 调度能力:10K(单集群1万台服务器)的任务分布式部署和监控。
  • 数据能力:EB(10亿GB)级的大数据存储和分析能力。
  • 安全能力:为中国35%的网站提供防御。
  • 大规模实践:经受双11、12306春运购票等极限并发场景挑战。
  • 开放的生态:兼容大多数生态软件和硬件,比如CLoudfudry、Docker、 Hadoop。


飞天操作系统解决了什么不一样的问题?

  • 算得起:客户的计算成本问题,即开即用,零capex,零基础运维人员投入,计算资源弹性扩展,降低opex
  • 算得快:客户的计算规模瓶颈问题,以及客户应用的实时性问题
  • 算得准:客户应用的数据智能问题,让小客户具备和大公司一样的数据智能的能力
  • 高可用:客户应用的业务连续性问题,客户的服务可以部署在多个region,并支持灵活多样的数据同步机制,打造高可用系统
  • 安全性:安全管理根植在飞天内核最底层,还建立了自主可控的全栈安全体系
  • API经济:让开源产品、ISV、SI、和云SP能够有效协同为客户提供服务

 

飞天大事记 

2008年

9月    阿里巴巴确定“云计算”和“数据”战略,决定自主研发超大规模通用计算操作系统“飞天”。

10月   飞天团队正式组建。

 

2009年

2月   飞天团队在北京写下第一行代码。

 

2010年

4月    阿里金融订单贷款产品“牧羊犬”在飞天平台上线。

8月   飞天作为通用平台,成为阿里集团内部四大应用的公共基础:搜索(大规模在线、离线应用)、邮箱(结构化在线应用)、小文件存储(海量文件存储)、阿里金融(大数据应用)。

 

2011年

7月   阿里云开始大规模对外提供基于飞天的云计算服务。

 

2013年

8月  阿里云成为世界上第一家对外提供5K云计算服务能力的公司。


2014年

7月 阿里云发布产品MaxCompute。通过MaxCompute在线服务,小型公司花几百元即可开始分析海量数据。

 

2015年

1月 12306将车票查询业务部署在飞天上,春运高峰分流了75%的流量。

6月 历经一年半时间,阿里巴巴和蚂蚁金服完成“登月计划”,将所有数据存储、计算任务全部迁移至飞天平台。

10月 Sort Benchmark2015年排序竞赛中,飞天用377秒完成100TB的数据排序,打破四项世界纪录。

 

2016年

1月 阿里云发布一站式大数据平台“数加”,开放阿里巴巴十年的大数据处理能力,首批亮相20款产品。

4月 阿里云发布人工智能ET。ET基于飞天强大的计算和大数据处理能力进化而来,初步具备听、说、看的感知能力,并能在交通、制造等领域辅助人类进行全局决策。

4月 阿里云发布专有云(Apsara Stack),支持企业客户在自己的数据中心部署飞天操作系统。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
存储 资源调度 监控
|
块存储
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络1.0时代
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络1.0时代自制脑图
148 1
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络1.0时代
|
专有云
阿里云最新产品手册——阿里云核心产品——专有云飞天企业版——三大核心竞争力
阿里云最新产品手册——阿里云核心产品——专有云飞天企业版——三大核心竞争力自制脑图
166 1
|
块存储
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——技术理念升级
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——技术理念升级自制脑图
184 2
|
块存储
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——智能服务产品
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——智能服务产品自制脑图
243 1
阿里云最新产品手册——阿里云核心产品——飞天洛神3.0——洛神——洛神平台总体架构
阿里云最新产品手册——阿里云核心产品——飞天洛神3.0——洛神——洛神平台总体架构自制脑图
369 1
|
块存储
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——性能提升
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——性能提升自制脑图
198 1
|
安全 块存储
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——安全
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——安全自制脑图
259 2
|
块存储
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代自制脑图
123 1
|
块存储
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——技术升级和探索
阿里云最新产品手册——阿里云核心产品——块存储——飞天洛神3.0——云网络发展历程——云网络3.0时代——技术升级和探索自制脑图
176 1