张勇云栖连讲三年,你看懂阿里云原生的技术野心了吗

简介: 今年是云栖大会自2009年开办以来走过的第十一个年头,也是张勇接任阿里董事会主席以后,连续第三年在云栖大会上发声,来探讨新技术的带来的能量与价值了。笔者认为这些明星产品的背后,“云原生”才是真正的“新技术”C位。

“十年一觉云栖梦,赢得江湖薄性名。”今年是云栖大会自2009年开办以来走过的第十一个年头,也是张勇接任阿里董事会主席以后,连续第三年在云栖大会上发声,来探讨新技术的带来的能量与价值了。

image.png

张勇表示,“在疫情特殊阶段,社会化合力爆发了新力量,新技术和产业、工作、生活方方面面结合在一起,带来巨大的生产力。”阿里巴巴为数字经济时代的到来准备了20年,过去打下的数字化基础可以有更广阔的使用范围,产生更深入的影响。

而在随后阿里就展示了他们在新技术方面的成果,发布了阿里动物园的新丁-物流机器人“小蛮驴”和首个云PC“无影”,而在这之前几天阿里刚刚官宣了“犀牛智造”平台。各种新技术产品可谓层出不穷,不过在看完了为期两天的云栖大会以后,笔者认为这些明星产品的背后,“云原生”才是真正的“新技术”C位。

在云栖大会上阿里巴巴正式成立了云原生技术委员会,由阿里巴巴合伙人蒋江伟担任负责人,著名数据库科学家李飞飞、深度Caffe之父贾扬清等多名业内大牛担任委员。
image.png

与此同时还推出了包括沙箱容器2.0、离线实时一体化数据仓库MaxCompute等多款产品,而其中引起笔者特别关注的是阿里云开发平台(https://workbench.aliyun.com ),这是款产品打通了云原生产品线与开发者之间的通路。所谓得开发者方得天下,阿里云开发平台是其建设云原生开发生态的关键一环,虽然刚刚发布,但是而笔者初步试用了一下这款产品之后,发现其在开发环境的建立、程序的调试以与云原生产品的引入等关键环节都有良好的表现,这也充分展示了阿里打造云原生开发生态方面的野心。
image.png

十年前业界普遍流传着一句话叫做“代码正在吞没世界”,后来人们又说“互联网世界的一切源自开源”,而现在业界逐渐注意到原来“云原生”才是真正的BOSS,先占领云原生高地的公司将在未来占据统治地位。云原生的最重要意义在于这项技术可以在提升30%研发效率的同时,降低30%的IT成本,也就是在产品交付速度与IT投入方面均较非云原生的技术有着巨大的优势。

云计算在未来会成为整个社会和商业的基础设施,届时使用云服务就像现在我们使用水电煤一样简单,用户不需要了解水从哪里来、怎么过滤、怎么铺设管道等一系列问题,只需要打开水龙头就可以。而对于普通用来而言的云原生正好可以帮助云计算朝着普惠的方向发展,它提倡的是人们不需要关心应用逻辑以外的服务相关的事情,包括管理、配置、运维等,用多少就付多少。从这个角度来看, 云原生是真正让云计算变成社会商业基础设施的一个实现路径,人们在使用云计算的时候自然就应该按照云原生的方式来进行。

目前阿里云的最新估值已经突破了1200亿美元大关,是国内云计算领域的绝对一哥,而且飞天操作系统到神龙服务器再到现在的云原生,阿里在技术方面也一直是业内的佼佼者,无论是技术支持能力还是产品的丰富度都是国内第一。不过在十几年前王坚院士初建阿里云的时候,应该没有想到能取得今天的辉煌,因为在当时云计算领域还基本无人问津。

云计算-从无人问津到王者归来

10年前的云计算还是一种倍受质疑的新兴技术,在乌镇互联网大会的前身-中国IT领袖2010年峰会上,多名IT业大佬都表示,“云计算是新瓶装旧酒”、“云计算概念过于超前”。

由于当时云计算技术理念真的过于超前,这也使王坚不得不向现实妥协,在2012年联合天语、英伟达推出了阿里云手机,其搭载的云OS操作系统整合了阿里当时旗下如邮箱、云应用、地图 、浏览器及IM通讯多个电子商务服务,虽有不少人看好阿里云手机,但由于小米等厂商的入局,阿里云手机也是以彻底失败而告终。当时的王坚甚至因为这个项目的失败而被冠以“骗子”的名号。也有不少人向马云建言尽快砍掉云计算的部门,不过马云还是非常具有远见的力排众议,并说出了那句“每年烧十个亿的也要造出阿里云”的豪言。

10年前业界对于云计算的普遍误判与阿里的高调入局形成了鲜明的对比,而现在的结果也已经非常明显了,目前阿里云不仅坐稳了国内第一,国际第三的位置,而且正在缩短与业界龙头AWS的距离,相信阿里今后凭借国内新基建企业全面上云的春风,还将进一步发展壮大。

技术造就阿里云
“十年寒窗无人问,一举成名天下知。”在IT界几乎每隔十年就会有一个新的生态出现,比如Windows+Intel的Wintel联盟所把持桌面生态85%以上的市场份额,Arm+Android、IOS的AAI则占有移动生态100%的市场份额,而在这个云计算的时代阿里飞天操作系统、神龙服务器、无影云PC与云开发平台的四位一体组合,则有望打造一个属于我们自己的云技术生态,这一切源自于阿里人对于技术的不断追求。

在2008年时任微软亚研院副院长的王坚在见到马云时,他说的第一句就是“如果阿里还不掌握技术,未来就不会有阿里的身影”,可能也正是从那时起注定了阿里将成为一家以技术为核心的公司,对于技术的追求与掌控,几乎成了刻在阿里技术人骨子里的一部分。

在十几年前,中国的互联网企业普遍迎来了一波流量爆发,在2003年推出支付宝以后,淘宝交易迅速增长从2005年到2012年,交易额从80亿元、200亿元到1000亿,直到破万亿,不过这种爆炸式增长,也成了阿里人甜蜜的负担,因为阿里电联用户的增长速度已经渐渐超出系统处理能力的提升速度了,而原有一直沿用的IOE(IBM的小型机、Oracle的数据库和EMC的存储)中心化系统与这种高用户并发的场景几乎格格不入,且不无论达到如此性能的IOE系统成本会有多惊人,问题的关键在于即使是当时最强大的科技公司IOE,也没有经历过上亿用户同时在线的业务场景,使用他们的产品方案有如南辕北辙,无法真正解决问题。所以王坚率先提出“去IOE”的目标,通过打造阿里自己的技术来解决用户爆发式增长的问题。

“去IOE”其实是上云另一种表述方式,在IOE架构的系统中提升算力的思路是让服务器越来越强,而云计算的分布式思路是只需要增加服务器节点的数量,就能处理更多的并发服务请求,而云系统的业务连续性,并不是靠高可用性来保证,而是靠整个服务体系的容错能力造就的。正在是不断探索中,阿里人摸索出了新的云计算分布式架构,通过发挥云计算的威力,使得看似普通的虚拟机集群,能够碾压一体机,为亿万用户同时提供优质的服务。

欲戴皇冠,必承其重,当时的阿里不可能只享受用户增长带来的好处,却不为此付出努力,根据阿里的评估想为全国人民同时提供“双十一”式的抢购服务,至少需要5000台服务器的集群,这也是5K之争的最初由来,而如何管理超大规模的计算集群,世界上还没有哪家公司有过经验。

5K之争,阿里人的倔强

“自研还是拿来主义,这是个问题”,可以说在我国整个自主技术的研发历史上,阿里的5K集群之争非常具有代表性意义。代号为云梯1的机群,搭载了开源的Hadoop大数据系统;代号为云梯2的机群,承载的是阿里云当时自研的ODPS(Open Data Processing Service)开放数据处理服务以及底层的飞天系统,ODPS其实就是我们上文所提到的大数据计算引擎MaxCompute的前身。云梯1和云梯2都是当时阿里集团处理海量数据存储与计算的系统,2008年云梯之争启动时,飞天操作系统还没有成型,不过当时阿里已经有了9个Hadoop集群。

云梯1和云梯2这样的5K竞争在阿里技术选型的过程中其实非常普遍,而5K之争所引发的讨论尤其热烈,Hadoop作为大数据的标志性项目,更加成熟,但是可控性、安全性的问题可能会存在一些的坑,而自研的飞天系统虽然自主可控,但在当时还不稳定。这样的对比也让阿里的各位技术大牛们十分的纠结,不过答案在2013年底的时候正式揭晓。

2013年8月15日,基于阿里云飞天的云梯2规模达到5000台服务器规模,而且实现了跨机房,并经受了整机房断电的严苛考验。该平台计算100TB排序只需30分钟,远超雅虎在当年7月刚刚创造的71分钟世界纪录。阿里云成为世界上屈指可数的几家,拥有如此技术实力的公司之一,同时也是第一个对外提供这种计算能力的公司。最为关键的是飞天操作系统是阿里人自研的,为了纪念每一行代码都是自己编写的飞天操作系统,阿里还在园区内为飞天立碑以纪念飞天的贡献与意义。
image.png

在以飞天为基础的云梯2队奠定了坚实技术根基之后,2014年阿里云迎来真正转机-改造12306。14年刚刚问世的12306,被很多网友怒喷为世界上最烂的网站,因为它永远都只会一招“该网页无法打开”。但是马云在2015年达沃斯论坛时说的:“我告诉阿里的年轻人,去支援12306,不收一分钱。因为我不想看到农民工兄弟买不到火车票。这不是为了钱,不是为了政府,是为了那些兄弟不用在雪夜等待买票,只需要通过手机、电脑就能顺畅购买。”用上了阿里云的12306,真是有了脱胎换骨般的改变,再没出现频繁的宕机现象,人们也不禁惊呼原来云计算技术真的可以啊!

从此阿里云正式步入正轨,同年的SortBenchmark的排序竞赛中阿里云用不到7分钟就完成了100TB的数据排序,打破了ApacheSpark之前23.4分钟的纪录。并获得了2017年中国电子学会设立科技进步奖特等奖。

发力云原生

正文笔者前文所讲,云原生技术可以在提升30%研发效率的同时降低30%的IT成本。传统云计算技术的本质是虚拟化,当业务需要快速支撑一个活动的时候,通常会申请服务器甚至临时采购一些云服务器ECS,以增加算力,但是这些云服务器至少也是按天计费的,而促销活动活动往往只有几分钟就结束了,这也使得临时加上的算力不能及时回收,造成浪费。

而云原生技术的本质是服务化,弹性计算、Serverless等技术的帮助下,企业可以在业务促销时重点倾斜算力资源,结合促销时将这部分算力回收,这对于云服务商与企业双方来讲都是共赢的结果,云原生技术一方面可以方便用户通过最小的代价,获得最强AI算法及容器化、可伸缩的算力加持;另一方面也提升了云服务商的产品适用范围,而这些特性对于阿里云这种通过成就客户来成就自身的公司来说,显得尤其重要。

云原生对于阿里来讲,最大的价值就是方便对外输出自身的服务能力,而有了Serverless、微服务、容器等云原生技术的加持,阿里就可以放手帮助中小企业云创新,依靠阿里云云、支付宝、天猫、淘宝等资源对这些创新进行扶持,比如越来越多的创业者在用阿里云的服务来连接线下的商业以及其他的行业,等等诸如此类,其实都是阿里云在不断追求极致技术的过程中,所产生的社会效益。

将Cloud Native翻译为云原生,也是阿里人的创意,可以说原生这样的表达,充分展示了这会是一项与云计算时代完全合拍的技术。是由团队文化,新的技术架构,和新的工具和运维结合的四大支柱构成。

通过像阿里云开发平台这样高度自动化的研发工具,可以以满足快速变化的客户需求。这些应用采用自动化的,可扩展的,和高可用的架构。研发团队通过高效的云开发平台,可以快速根据线上反馈对产品进行不断地迭代改进。也就是原先以天为粒度的迭代周期,在云原生的加持下可以缩短到小时级,同时还能降低成本,这样的技术想不火爆恐怕都很难。

未来已来-云原生+AI的巨大潜力

从目前AI技术的发展趋势来看,AI发挥价值的最大阻碍在于其平台搭建成本过大、入门门槛太高,因为最新的深度学习模型对于算力的需求是非常惊人的。比如Open AI的GPT3,其整个模型的参数数量达到了1300亿,这几乎是上一代GPT2模型参数的几十倍,甚至Open AI的科学家直接在GPT3的论文指出:“越大的模型往往表现更好。这表现扩大规模可能仍然是实现更好性能的方式。”而一般的创业公司如果没有雄厚的资金实力是不可能搭建这种级别的AI训练平台。

而将计算能力服务化、函数化恰恰是云原生技术的特长,所以越来越依靠大力出奇迹的深度学习模型,也从另一个角度推进了AI与云原生的技术合体,只有将 AI能力完全服务化能降低使用门槛,促进行业创新发展。AI云原生实际与全场景全栈AI是同一概念,也只有做好AI云,才能让AI充分发挥威力,体现价值。

云原生与AI恰好都是阿里所擅长的技术,如果将数据比作这个数字时代的石油,那么丰富的业务场景与庞大的用户基数以及阿里云开发平台优秀的连接能力,都为业界提供了世界上最大的原油储存基地,而当阿里通过云原生技术将自身的能力服务化开放出来,也就为我们新经济的发展引擎注入了源源不断的动力。

“千磨万击还坚劲,任尔东西南北风”低调与坚韧,是阿里技术团队最明显的标签,虽不引人注目,但是不容忽视,相信看到这里,各位读者也可以对于阿里云10余年的技术发展道路与迭代逻辑有了一定的了解,相信只要阿里人继续保持对于技术的追求那么未来,可期。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1天前
|
边缘计算 运维 Cloud Native
探索云原生技术的未来发展趋势
随着数字化时代的不断深入,云原生技术已成为企业数字化转型的重要支撑。本文将探讨云原生技术的定义、特点以及未来发展趋势,重点关注容器化、微服务、自动化运维等方面,展望云原生技术在未来的发展方向与挑战。
16 1
|
3天前
|
Cloud Native 安全 Devops
构建未来:云原生技术在企业数字化转型中的关键角色
【5月更文挑战第5天】 随着企业加速其数字化进程,云原生技术已成为推动创新和灵活性的重要力量。本文探讨了云原生技术的核心组件、实施策略以及它们如何帮助企业实现敏捷开发和持续交付。通过深入分析容器化、微服务架构、DevOps实践和自动化工具的融合,揭示了这些技术如何共同作用,支持企业在竞争激烈的市场中快速适应变化。同时,文章还将讨论云原生安全挑战及应对措施,为读者提供一个全面的云原生技术应用视角。
31 14
|
3天前
|
Cloud Native 持续交付 云计算
构建未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第5天】 随着企业不断探索在竞争激烈的市场中保持敏捷和创新的方法,云计算已经成为了推动数字化转型的重要动力。特别是云原生技术,作为构建和运行应用程序的一种新范式,正在改变企业开发、部署及管理软件的方式。本文将深入探讨云原生架构的核心组件、它如何促进企业的敏捷性,以及在采用云原生技术时面临的挑战和解决策略。通过分析案例研究和行业趋势,我们将揭示云原生技术在未来企业数字化道路上扮演的角色,并为希望利用这些技术的决策者提供实用的见解。
|
4天前
|
Cloud Native Devops 持续交付
构建未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第4天】 随着企业加速其数字化进程,云原生技术已不仅仅是一种趋势,而是成为了推动创新和业务敏捷性的核心力量。本文将探讨云原生架构如何为企业提供弹性、可扩展及自动化的基础设施,以及它如何支持企业在竞争激烈的市场中快速响应变化。通过深入分析云原生技术的组成部分,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps文化,我们揭示了这些技术如何共同塑造一个灵活且高效的企业IT环境。
13 0
|
4天前
|
Cloud Native Devops 持续交付
构筑未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第4天】 随着企业加速迈向数字化时代,云原生技术已不仅仅是一种趋势,而是转型成功的必要条件。本文将深入探讨云原生架构的核心组件,包括容器化、微服务、持续集成/持续部署(CI/CD)和DevOps实践,并分析它们如何共同促进企业的敏捷性、可扩展性和创新能力。通过具体案例,我们还将揭示这些技术如何帮助企业实现资源优化、风险降低和更快的市场响应时间。
21 7
|
7天前
|
运维 Cloud Native 持续交付
构建未来:云原生技术在企业数字化转型中的应用
【5月更文挑战第1天】 随着企业加速其数字化转型的步伐,云原生技术作为推动创新和灵活性的关键力量,正变得日益重要。本文深入探讨了云原生技术如何为企业提供高度可扩展、灵活且安全的解决方案,以及它如何支持企业在不断变化的市场环境中保持竞争力。通过对容器化、微服务架构、持续集成/持续部署(CI/CD)等核心技术的剖析,揭示了它们如何共同塑造一个更加敏捷和响应迅速的开发环境。文章还讨论了企业在采纳云原生技术过程中面临的挑战,并提出了一系列策略建议,以帮助企业顺利过渡到云原生模式。
|
7天前
|
Cloud Native Devops 持续交付
构建未来:云原生技术在企业数字化转型中的关键作用
【5月更文挑战第1天】 随着企业加速其数字化转型的步伐,云原生技术已经成为推动创新和灵活性的核心动力。本文探讨了云原生架构如何为企业提供敏捷性、可扩展性和成本效益,同时确保了高度的系统稳定性。我们将深入分析云原生的关键技术组件,包括容器化、微服务、持续集成/持续部署(CI/CD)以及DevOps实践,并展示它们如何共同作用于企业的IT基础架构,促进业务增长和响应市场变化的能力。
|
7天前
|
设计模式 Cloud Native 算法
拥抱变化:我的技术适应之旅构建未来:云原生架构在企业数字化转型中的关键角色
【4月更文挑战第30天】 在技术的浪潮中,我学会了不仅仅是编码,还有如何与时俱进。本文记录了我从一名初出茅庐的开发者成长为一个能够适应不断变化技术环境的工程师的心路历程。从最初的困惑与挑战到后来的接纳与创新,我意识到,技术能力的提升和心态的转变同样重要。
|
7天前
|
机器学习/深度学习 Cloud Native Devops
深度学习在图像识别中的应用与挑战构建未来:云原生技术在企业数字化转型中的关键作用
【4月更文挑战第30天】 随着人工智能技术的飞速发展,深度学习已成为推动计算机视觉领域进步的关键力量。尤其在图像识别任务中,深度神经网络通过学习海量数据中的复杂模式,显著提高了识别的准确率和效率。然而,尽管取得了显著成就,深度学习在图像识别应用过程中仍面临一系列挑战,包括模型泛化能力、计算资源消耗以及对抗性攻击等。本文旨在探讨深度学习技术在图像识别领域的应用现状,并分析其面临的主要技术挑战和未来的发展方向。 【4月更文挑战第30天】 随着企业加速迈向数字化时代,传统的IT架构正面临重大挑战。云原生技术以其灵活性、可扩展性和敏捷性,成为推动企业转型的重要力量。本文将探讨云原生技术的基本原理,分
|
7天前
|
Cloud Native Devops 持续交付
构建未来:云原生技术在企业数字化转型中的关键作用
【4月更文挑战第30天】 随着企业加速迈向数字化时代,云原生技术已逐渐成为推动创新与维护竞争力的核心动力。本文将探讨云原生技术如何优化资源利用、提高开发效率、加强系统稳定性,并支持企业在不断变化的市场环境中实现敏捷部署和扩展。通过深入分析容器化、微服务架构、DevOps文化及持续集成/持续部署(CI/CD)流程,我们揭示了这些技术如何在企业中落地,以及它们如何塑造着企业应用的构建、部署及运维方式。

热门文章

最新文章