张勇云栖连讲三年,你看懂阿里云原生的技术野心了吗

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 今年是云栖大会自2009年开办以来走过的第十一个年头,也是张勇接任阿里董事会主席以后,连续第三年在云栖大会上发声,来探讨新技术的带来的能量与价值了。笔者认为这些明星产品的背后,“云原生”才是真正的“新技术”C位。

“十年一觉云栖梦,赢得江湖薄性名。”今年是云栖大会自2009年开办以来走过的第十一个年头,也是张勇接任阿里董事会主席以后,连续第三年在云栖大会上发声,来探讨新技术的带来的能量与价值了。

image.png

张勇表示,“在疫情特殊阶段,社会化合力爆发了新力量,新技术和产业、工作、生活方方面面结合在一起,带来巨大的生产力。”阿里巴巴为数字经济时代的到来准备了20年,过去打下的数字化基础可以有更广阔的使用范围,产生更深入的影响。

而在随后阿里就展示了他们在新技术方面的成果,发布了阿里动物园的新丁-物流机器人“小蛮驴”和首个云PC“无影”,而在这之前几天阿里刚刚官宣了“犀牛智造”平台。各种新技术产品可谓层出不穷,不过在看完了为期两天的云栖大会以后,笔者认为这些明星产品的背后,“云原生”才是真正的“新技术”C位。

在云栖大会上阿里巴巴正式成立了云原生技术委员会,由阿里巴巴合伙人蒋江伟担任负责人,著名数据库科学家李飞飞、深度Caffe之父贾扬清等多名业内大牛担任委员。
image.png

与此同时还推出了包括沙箱容器2.0、离线实时一体化数据仓库MaxCompute等多款产品,而其中引起笔者特别关注的是阿里云开发平台(https://workbench.aliyun.com ),这是款产品打通了云原生产品线与开发者之间的通路。所谓得开发者方得天下,阿里云开发平台是其建设云原生开发生态的关键一环,虽然刚刚发布,但是而笔者初步试用了一下这款产品之后,发现其在开发环境的建立、程序的调试以与云原生产品的引入等关键环节都有良好的表现,这也充分展示了阿里打造云原生开发生态方面的野心。
image.png

十年前业界普遍流传着一句话叫做“代码正在吞没世界”,后来人们又说“互联网世界的一切源自开源”,而现在业界逐渐注意到原来“云原生”才是真正的BOSS,先占领云原生高地的公司将在未来占据统治地位。云原生的最重要意义在于这项技术可以在提升30%研发效率的同时,降低30%的IT成本,也就是在产品交付速度与IT投入方面均较非云原生的技术有着巨大的优势。

云计算在未来会成为整个社会和商业的基础设施,届时使用云服务就像现在我们使用水电煤一样简单,用户不需要了解水从哪里来、怎么过滤、怎么铺设管道等一系列问题,只需要打开水龙头就可以。而对于普通用来而言的云原生正好可以帮助云计算朝着普惠的方向发展,它提倡的是人们不需要关心应用逻辑以外的服务相关的事情,包括管理、配置、运维等,用多少就付多少。从这个角度来看, 云原生是真正让云计算变成社会商业基础设施的一个实现路径,人们在使用云计算的时候自然就应该按照云原生的方式来进行。

目前阿里云的最新估值已经突破了1200亿美元大关,是国内云计算领域的绝对一哥,而且飞天操作系统到神龙服务器再到现在的云原生,阿里在技术方面也一直是业内的佼佼者,无论是技术支持能力还是产品的丰富度都是国内第一。不过在十几年前王坚院士初建阿里云的时候,应该没有想到能取得今天的辉煌,因为在当时云计算领域还基本无人问津。

云计算-从无人问津到王者归来

10年前的云计算还是一种倍受质疑的新兴技术,在乌镇互联网大会的前身-中国IT领袖2010年峰会上,多名IT业大佬都表示,“云计算是新瓶装旧酒”、“云计算概念过于超前”。

由于当时云计算技术理念真的过于超前,这也使王坚不得不向现实妥协,在2012年联合天语、英伟达推出了阿里云手机,其搭载的云OS操作系统整合了阿里当时旗下如邮箱、云应用、地图 、浏览器及IM通讯多个电子商务服务,虽有不少人看好阿里云手机,但由于小米等厂商的入局,阿里云手机也是以彻底失败而告终。当时的王坚甚至因为这个项目的失败而被冠以“骗子”的名号。也有不少人向马云建言尽快砍掉云计算的部门,不过马云还是非常具有远见的力排众议,并说出了那句“每年烧十个亿的也要造出阿里云”的豪言。

10年前业界对于云计算的普遍误判与阿里的高调入局形成了鲜明的对比,而现在的结果也已经非常明显了,目前阿里云不仅坐稳了国内第一,国际第三的位置,而且正在缩短与业界龙头AWS的距离,相信阿里今后凭借国内新基建企业全面上云的春风,还将进一步发展壮大。

技术造就阿里云
“十年寒窗无人问,一举成名天下知。”在IT界几乎每隔十年就会有一个新的生态出现,比如Windows+Intel的Wintel联盟所把持桌面生态85%以上的市场份额,Arm+Android、IOS的AAI则占有移动生态100%的市场份额,而在这个云计算的时代阿里飞天操作系统、神龙服务器、无影云PC与云开发平台的四位一体组合,则有望打造一个属于我们自己的云技术生态,这一切源自于阿里人对于技术的不断追求。

在2008年时任微软亚研院副院长的王坚在见到马云时,他说的第一句就是“如果阿里还不掌握技术,未来就不会有阿里的身影”,可能也正是从那时起注定了阿里将成为一家以技术为核心的公司,对于技术的追求与掌控,几乎成了刻在阿里技术人骨子里的一部分。

在十几年前,中国的互联网企业普遍迎来了一波流量爆发,在2003年推出支付宝以后,淘宝交易迅速增长从2005年到2012年,交易额从80亿元、200亿元到1000亿,直到破万亿,不过这种爆炸式增长,也成了阿里人甜蜜的负担,因为阿里电联用户的增长速度已经渐渐超出系统处理能力的提升速度了,而原有一直沿用的IOE(IBM的小型机、Oracle的数据库和EMC的存储)中心化系统与这种高用户并发的场景几乎格格不入,且不无论达到如此性能的IOE系统成本会有多惊人,问题的关键在于即使是当时最强大的科技公司IOE,也没有经历过上亿用户同时在线的业务场景,使用他们的产品方案有如南辕北辙,无法真正解决问题。所以王坚率先提出“去IOE”的目标,通过打造阿里自己的技术来解决用户爆发式增长的问题。

“去IOE”其实是上云另一种表述方式,在IOE架构的系统中提升算力的思路是让服务器越来越强,而云计算的分布式思路是只需要增加服务器节点的数量,就能处理更多的并发服务请求,而云系统的业务连续性,并不是靠高可用性来保证,而是靠整个服务体系的容错能力造就的。正在是不断探索中,阿里人摸索出了新的云计算分布式架构,通过发挥云计算的威力,使得看似普通的虚拟机集群,能够碾压一体机,为亿万用户同时提供优质的服务。

欲戴皇冠,必承其重,当时的阿里不可能只享受用户增长带来的好处,却不为此付出努力,根据阿里的评估想为全国人民同时提供“双十一”式的抢购服务,至少需要5000台服务器的集群,这也是5K之争的最初由来,而如何管理超大规模的计算集群,世界上还没有哪家公司有过经验。

5K之争,阿里人的倔强

“自研还是拿来主义,这是个问题”,可以说在我国整个自主技术的研发历史上,阿里的5K集群之争非常具有代表性意义。代号为云梯1的机群,搭载了开源的Hadoop大数据系统;代号为云梯2的机群,承载的是阿里云当时自研的ODPS(Open Data Processing Service)开放数据处理服务以及底层的飞天系统,ODPS其实就是我们上文所提到的大数据计算引擎MaxCompute的前身。云梯1和云梯2都是当时阿里集团处理海量数据存储与计算的系统,2008年云梯之争启动时,飞天操作系统还没有成型,不过当时阿里已经有了9个Hadoop集群。

云梯1和云梯2这样的5K竞争在阿里技术选型的过程中其实非常普遍,而5K之争所引发的讨论尤其热烈,Hadoop作为大数据的标志性项目,更加成熟,但是可控性、安全性的问题可能会存在一些的坑,而自研的飞天系统虽然自主可控,但在当时还不稳定。这样的对比也让阿里的各位技术大牛们十分的纠结,不过答案在2013年底的时候正式揭晓。

2013年8月15日,基于阿里云飞天的云梯2规模达到5000台服务器规模,而且实现了跨机房,并经受了整机房断电的严苛考验。该平台计算100TB排序只需30分钟,远超雅虎在当年7月刚刚创造的71分钟世界纪录。阿里云成为世界上屈指可数的几家,拥有如此技术实力的公司之一,同时也是第一个对外提供这种计算能力的公司。最为关键的是飞天操作系统是阿里人自研的,为了纪念每一行代码都是自己编写的飞天操作系统,阿里还在园区内为飞天立碑以纪念飞天的贡献与意义。
image.png

在以飞天为基础的云梯2队奠定了坚实技术根基之后,2014年阿里云迎来真正转机-改造12306。14年刚刚问世的12306,被很多网友怒喷为世界上最烂的网站,因为它永远都只会一招“该网页无法打开”。但是马云在2015年达沃斯论坛时说的:“我告诉阿里的年轻人,去支援12306,不收一分钱。因为我不想看到农民工兄弟买不到火车票。这不是为了钱,不是为了政府,是为了那些兄弟不用在雪夜等待买票,只需要通过手机、电脑就能顺畅购买。”用上了阿里云的12306,真是有了脱胎换骨般的改变,再没出现频繁的宕机现象,人们也不禁惊呼原来云计算技术真的可以啊!

从此阿里云正式步入正轨,同年的SortBenchmark的排序竞赛中阿里云用不到7分钟就完成了100TB的数据排序,打破了ApacheSpark之前23.4分钟的纪录。并获得了2017年中国电子学会设立科技进步奖特等奖。

发力云原生

正文笔者前文所讲,云原生技术可以在提升30%研发效率的同时降低30%的IT成本。传统云计算技术的本质是虚拟化,当业务需要快速支撑一个活动的时候,通常会申请服务器甚至临时采购一些云服务器ECS,以增加算力,但是这些云服务器至少也是按天计费的,而促销活动活动往往只有几分钟就结束了,这也使得临时加上的算力不能及时回收,造成浪费。

而云原生技术的本质是服务化,弹性计算、Serverless等技术的帮助下,企业可以在业务促销时重点倾斜算力资源,结合促销时将这部分算力回收,这对于云服务商与企业双方来讲都是共赢的结果,云原生技术一方面可以方便用户通过最小的代价,获得最强AI算法及容器化、可伸缩的算力加持;另一方面也提升了云服务商的产品适用范围,而这些特性对于阿里云这种通过成就客户来成就自身的公司来说,显得尤其重要。

云原生对于阿里来讲,最大的价值就是方便对外输出自身的服务能力,而有了Serverless、微服务、容器等云原生技术的加持,阿里就可以放手帮助中小企业云创新,依靠阿里云云、支付宝、天猫、淘宝等资源对这些创新进行扶持,比如越来越多的创业者在用阿里云的服务来连接线下的商业以及其他的行业,等等诸如此类,其实都是阿里云在不断追求极致技术的过程中,所产生的社会效益。

将Cloud Native翻译为云原生,也是阿里人的创意,可以说原生这样的表达,充分展示了这会是一项与云计算时代完全合拍的技术。是由团队文化,新的技术架构,和新的工具和运维结合的四大支柱构成。

通过像阿里云开发平台这样高度自动化的研发工具,可以以满足快速变化的客户需求。这些应用采用自动化的,可扩展的,和高可用的架构。研发团队通过高效的云开发平台,可以快速根据线上反馈对产品进行不断地迭代改进。也就是原先以天为粒度的迭代周期,在云原生的加持下可以缩短到小时级,同时还能降低成本,这样的技术想不火爆恐怕都很难。

未来已来-云原生+AI的巨大潜力

从目前AI技术的发展趋势来看,AI发挥价值的最大阻碍在于其平台搭建成本过大、入门门槛太高,因为最新的深度学习模型对于算力的需求是非常惊人的。比如Open AI的GPT3,其整个模型的参数数量达到了1300亿,这几乎是上一代GPT2模型参数的几十倍,甚至Open AI的科学家直接在GPT3的论文指出:“越大的模型往往表现更好。这表现扩大规模可能仍然是实现更好性能的方式。”而一般的创业公司如果没有雄厚的资金实力是不可能搭建这种级别的AI训练平台。

而将计算能力服务化、函数化恰恰是云原生技术的特长,所以越来越依靠大力出奇迹的深度学习模型,也从另一个角度推进了AI与云原生的技术合体,只有将 AI能力完全服务化能降低使用门槛,促进行业创新发展。AI云原生实际与全场景全栈AI是同一概念,也只有做好AI云,才能让AI充分发挥威力,体现价值。

云原生与AI恰好都是阿里所擅长的技术,如果将数据比作这个数字时代的石油,那么丰富的业务场景与庞大的用户基数以及阿里云开发平台优秀的连接能力,都为业界提供了世界上最大的原油储存基地,而当阿里通过云原生技术将自身的能力服务化开放出来,也就为我们新经济的发展引擎注入了源源不断的动力。

“千磨万击还坚劲,任尔东西南北风”低调与坚韧,是阿里技术团队最明显的标签,虽不引人注目,但是不容忽视,相信看到这里,各位读者也可以对于阿里云10余年的技术发展道路与迭代逻辑有了一定的了解,相信只要阿里人继续保持对于技术的追求那么未来,可期。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
25天前
|
运维 Cloud Native 安全
云原生技术在现代企业中的应用与挑战####
本文探讨了云原生技术在现代企业IT架构中的关键作用,分析了其带来的优势和面临的主要挑战。通过实际案例分析,揭示了如何有效应对这些挑战,以实现业务敏捷性和技术创新的平衡。 ####
|
22天前
|
Kubernetes Cloud Native 微服务
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
|
22天前
|
Cloud Native 持续交付 开发者
云原生技术在现代企业中的应用与实践####
本文深入探讨了云原生技术的核心概念及其在现代企业IT架构转型中的关键作用,通过具体案例分析展示了云原生如何促进企业的敏捷开发、高效运维及成本优化。不同于传统摘要仅概述内容,本部分旨在激发读者对云原生领域的兴趣,强调其在加速数字化转型过程中的不可或缺性,为后续详细论述奠定基础。 ####
|
27天前
|
Kubernetes Cloud Native 物联网
云原生技术在现代软件开发中的应用与挑战####
本文探讨了云原生技术的兴起背景、核心理念及其在现代软件开发中的广泛应用。通过具体案例分析,揭示了云原生架构如何促进企业数字化转型,并指出了在实施过程中面临的主要挑战及应对策略。 ####
|
11天前
|
Cloud Native
邀您参加云原生高可用技术沙龙丨云上高可用体系构建:从理论到实践
云原生高可用技术专场,邀您从理论到实践一起交流,探索云上高可用体系构建!
|
22天前
|
Cloud Native JavaScript Docker
云原生技术:构建现代应用的基石
在数字化转型的浪潮中,云原生技术如同一艘承载梦想的航船,引领企业驶向创新与效率的新海域。本文将深入探索云原生技术的核心价值,揭示其如何重塑软件开发、部署和运维模式,同时通过一个简易代码示例,展现云原生应用的构建过程,让读者领略到云原生技术的魅力所在。
|
21天前
|
运维 Cloud Native 持续交付
云原生技术深度探索:重塑现代IT架构的无形之力####
本文深入剖析了云原生技术的核心概念、关键技术组件及其对现代IT架构变革的深远影响。通过实例解析,揭示云原生如何促进企业实现敏捷开发、弹性伸缩与成本优化,为数字化转型提供强有力的技术支撑。不同于传统综述,本摘要直接聚焦于云原生技术的价值本质,旨在为读者构建一个宏观且具体的技术蓝图。 ####
|
24天前
|
运维 Cloud Native 开发者
云原生技术入门与实践
在云计算的浪潮中,云原生技术以其独特的优势和魅力吸引了越来越多的开发者和企业。本文将从云原生技术的基本概念、核心组件以及实际应用三个方面进行详细介绍,帮助读者更好地理解和掌握这一新兴技术。同时,文章还将分享一些实际案例和经验教训,让读者能够更深入地了解云原生技术的应用场景和发展趋势。
38 5
|
22天前
|
Cloud Native 持续交付 云计算
云原生技术的崛起与未来展望
本文探讨了云原生技术的核心概念、发展历程及其在现代IT架构中的关键作用。随着云计算的普及,云原生作为一种优化云应用构建和部署的方法,正逐渐成为企业数字化转型的重要推力。文章分析了容器化、微服务、持续集成/持续部署(CI/CD)等关键技术如何支撑起灵活、高效、可扩展的云原生架构,并讨论了面临的挑战与未来的发展趋势。
49 12
|
23天前
|
Kubernetes Cloud Native 持续交付
云端之旅:云原生技术引领未来
在数字时代的浪潮中,云原生技术如同一艘承载梦想的航船,带领企业驶向数字化转型的彼岸。本文将揭示云原生技术的核心价值,探讨其在现代IT架构中的应用,并分享实现云原生转型的实践案例。从容器化和微服务到持续集成与持续部署(CI/CD),我们将一同见证云原生技术如何塑造灵活、高效、自动化的未来。