开发者学习笔记【阿里云云原生助理工程师认证(ACA)课程:微服务和 Serverless 架构-阿里微服务架构演进】
课程地址:https://edu.aliyun.com/course/3112075/lesson/19025
微服务和 Serverless 架构-阿里微服务架构演进
课程目录
一、早期阿里的技术架构
二、淘宝基于新框架的服务化改造
三、Spring Cloud Alibaba全家桶形成微服务领域最佳实践
四、基于RocketMQ的消息产品家族
五、阿里前端全面拥抱云原生Serverless
六、微服务架构并发数技术指标与日俱增
一、早期阿里的技术架构
阿里巴巴的微服务架构之路,起点于2007年,在2007年前的一段时间里,阿里巴巴的淘宝业务经历了一个快速发展的阶段,在这个时间段,淘宝业务经历了之前的沉淀和打磨,达到了快速爆发的临界点。应用的活用用户量没几个月就以翻番的速度增长,相对应的功能需求的迭代速度也变得越来越快。
为了支撑业务的快速增长,及时响应功能需求的变化,淘宝技术团队的人员也随之进行了快速的增长。在2007年十月份左右,淘宝业务的技术人员团队已经达到了500人左右,内部的功能模块也达到了200多个,而当时淘宝所采用的软件架构仍然是基于传统1JB模式的单War应用,后端连接Oracle数据集群,在这种架构下团队之间的沟通成本不断升高,源代码冲突、版本冲突等问题出现的频率也越来越高。
同时,为了支持不断增长的流量,需要为应用不断增加服务器数量,这就导致了数据库连接的数量很快达到Oracle数据集群的上限。Oracle数据集群服务器的CPU占用率常年在百分之九十以上,这种由集中式架构带来的数据库压力使得系统存在严重的健康性风险。
另外,由于业务的快速迭代和不断修改,200多个业务模块之间的耦合度已经达到了难以梳理的程度,模块之间的过多依赖,以及公有资源之间的互相竞争,使得一个旧有业务代码的小修改,往往会引起其他代码出现意想不到的情况。而在当时,业界还没有微服务的概念,对于阿里巴巴这种体量的互联网应用,市面上也没有成熟的经验和模式可以借鉴。
但是,为了能够经历千辛万苦打磨出来的业务,能够持续、健康、快速的发展,阿里巴巴还是决定展开服务化架构的尝试与调整。
二、淘宝基于新框架的服务化改造
在服务化改造的过程中,淘宝团队经过谨慎的技术评估之后,决定先将复数据复用率最高的用户操作部分进行拆分,通过功能的梳理剥离出用户中心这样一个共享的服务层,不同于传统的集中式应用模式,由独立的团队进行运营,使用单独的数据存储服务并且单独进行部署,这样就避免了单War、单数据库的各种弊端。
经过一段时间,用户功能中心开发完毕并测试稳定之后,淘宝团队将上层应用中所有用户业务相关的调用全部切换到了用户中心服务层的远程调用上,在经过一段时间的稳定和积累经验之后,新架构的用户中心服务层已经可以完全替代旧有的业务模块,同时实现了业务的服务不停机,被阿里人细称为给飞行中的飞机换发动机。
接下来,阿里巴巴启动了千岛湖项目,将更为核心的交易类和类目操作分离出来,组建了交易中心和类目中心。并且在之后的五彩石项目中继续提炼了店铺中心、商品中心、评价中心等一系列共享服务,初步完成了整个淘宝体系的服务化架构拆分。
经过近十年的服务化架构演进,目前阿里巴巴的服务中心总数量已经达到了五十多个,每个中心都有独立的团队进行专业维护,可以根据每个服务中心所承载的负载规模,单独进行记载资源和服务技术水平的扩展,有利的支撑了业务技术部门的海量用户量和快速迭代开发需求。
三、Spring Cloud Alibaba 全家桶形成微服务领域最佳实践
自从2011年Dubbo开源之后,阿里微服务团队就一直在内部产品的开源方面进行努力的探索,希望能够把阿里巴巴在微服务和应用托管体系的实践经验分享给用户,让支持阿里巴巴核心业务的微服务系统从封闭走向开放,服务更广泛的用户。
其中Spring Cloud阿里巴巴项目的推出,无疑是阿里巴巴在微服务领域中最具有代表性的贡献之一。
Spring Cloud是公司提出的基于Spring Bot用于开发微分布式应用的一款开源项目,其内部定义了微服务分布式开发的常用组件。如服务注册发现、服务熔断、分布式配置、服务调用、服务路由、分布式消息、消息总线等组件的接口规范。
2016年阿里开始全面拥抱Spring Bot,并将阿里原有的自研的诸多微服务中间件产品于Spring Bot开始进行整合,形成了基于阿里中间件的服务符合Spring Cloud规范的开源实现版本,也就是Spring Cloud阿里巴巴项目。
2017年12月Spring Cloud阿里巴巴顺利进入Spring Cloud孵化器,再次期间阿里巴巴再次提供了符合Spring Cloud微服务和应用组件。
2019年7月14日Spring官方宣布 Spring Cloud阿里巴巴项目正式毕业,这就意味着Spring Cloud阿里巴巴是国内首个进入Spring社区的开源项目,得到了广大开发者的广泛认可。
这里列举了Spring Cloud阿里巴巴项目的主要组件,其中包括服务注册发现、配置中心Nacos、RPC调用Dubbo、消息驱动RocketMQ、分布式事务Seata、在线调试Arthas、限流&熔断Sentinel、混沌测试ChaosBlade、消息队列RocketMQ。
同时Spring Cloud阿里巴巴还实现了很多对阿里云商业组件的集成,在用户上云并进行云原生改造中具有强大的先天优势。
四、基于 RocketMQ 的消息产品家族
从2007年阿里采用五彩石项目开始,淘宝原有的单体服务架构逐步被拆分成了包含用户中心、商品中心、交易中心、评价中心等50多个应用中心的平台型应用架构。而这时候系统和系统之间的交互就变的非常的重要,于是阿里中间件团队在2007年开发了第一代自研中间件Notify,用于淘宝业务中系统和系统之间的义务调用消息流转。紧接着在2010年阿里团队开始大规模使用ActiveMQ,并打造了自己的消息引擎Napoli,但是无论是Notify还是Napoli,在阿里巴巴不断增加的业务之下,都会出现由于消息数量过大处理不及时导致的消息堆积问题。
于是阿里巴巴综合之前的消息队列产品的优势,并结合阿里巴巴自身的技术特点和要求,开发了支持严格收取数据消息和海量消息堆积的新一代消息队列产品MetaQ,并在2012年升级为RocketMQ。此后RocketMQ就一直承载着阿里巴巴核心链路的消息流转,历经多年双11万亿级消息洪峰的严苛考验,创造了国内乃至世界上最大的消息流转记录,到今天阿里巴巴线上所有消息全部通过RocketMQ进行转发投递,同时支撑了全集团3000多个业务,为复杂业务场景提供了填补的能力。保证了系统核心业务的低延迟高吞吐,为阿里巴巴的大中台和服务化架构的稳定发挥着举足轻重的作用。
2012年RocketMQ正式进行了开源,阿里巴巴的消息中间件走入了公众的视野。
2016年11月28日,阿里巴巴宣布将开源分布式消息中间件产品RocketMQ捐赠给Apache成为孵化项目,孵化成功后RocketMQ成为国内首个互联网中间件,在Apache上的顶级项目,成为全球继ApacheMQ卡夫卡之后分布式消息引擎架构中的新成员。
五、阿里前端全面拥抱云原生 Serverless
2020年双11阿里巴巴集团的前端应用,全面拥抱云原生Serverless,淘系、飞猪、淘宝、CPU、ICPU、优酷、考拉等十数个BU共同落地了以Node.js为平台Faas在线服务架构为核心的云端一体研发模式,在保障稳定性,高资源利用率的前提下多个BU的重点营销场景全面实现了研发模式的升级。通过采用前端Faas支撑的云端一体研发模式,交付平均效率提高了38.89%。
同时依托Serverless的便利性和可靠性,淘宝、天猫、飞猪等双11会场页面,全面快捷落地了SSR技术,提高了用户的界面体验。除了保障大促以外,日常弹性下也较以往减少了30%的计算成本。
另外在个性化业务推荐场景下数以千计的易购应用运营成本一直是这个场景下的运营痛点。
而Serverless天生的弹性伸缩能力正式个性化推荐业务最为理想的技术支撑。通过Serverless化进一步解放运维负担,让开发者专注于业务的算法创新。
目前这个场景的应用范围越来越大,已经覆盖了几乎整个阿里系列APP,如淘宝、天猫、支付宝、优酷、飞猪等等。而推荐业务的大大接入又可以推动底层业务开发人员对机器利用效率方面做更多地优化。
通过智能化调动在峰值时期及其利用率已经可以达到60%。总体来说Serverless成绩单非常显眼,在双11大促中,不单承担了部分核心业务,流量也突破新高,帮助业务部门抗住了百万QBS的流量洪峰。
六、微服务架构并发数技术指标与日俱增
随着软件架构的不断演进,阿里巴巴的底层技术架构和业务能力也有了突飞猛进的提高,以双11峰值交易额为例,从2009年的400笔每秒进化成了2020年的58300笔每秒,11年间增长了将近1500倍,可以说云计算服务化Serverless消息队列云原生为代表的不断演进的技术架构,为今天阿里巴巴如此巨大的业务规模打下了坚实的技术基础。
以上就是阿里巴巴十多年来技术演进历程中一些重要的技术和节点的讲解。