终于学完阿里架构师推荐413页微服务分布式架构基础与实战笔记

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
网络型负载均衡 NLB,每月750个小时 15LCU
简介: 目前,Spring Boot+Spring Cloud架构已经成为Java程序员的必备技能之一,刚开始学习时看到琳琅满目的Spring全家桶,可能会感到无从下手。如果只了解微服务中的各知识点,而忽略了以微服务分布式架构的方式学习系统的架构顺序,初学者可能就不知道如何使用微服务构建分布式系统。为了使读者更快掌握Spring Boot+SpringCloud的基础知识与架构方法,本文的章节顺序即应用系统的架构顺序。

前言

目前,Spring Boot+Spring Cloud架构已经成为Java程序员的必备技能之一,刚开始学习时看到琳琅满目的Spring全家桶,可能会感到无从下手。如果只了解微服务中的各知识点,而忽略了以微服务分布式架构的方式学习系统的架构顺序,初学者可能就不知道如何使用微服务构建分布式系统。为了使读者更快掌握Spring Boot+SpringCloud的基础知识与架构方法,本文的章节顺序即应用系统的架构顺序。

分布式可以理解为人体器官,人体可看成分布式系统,大脑是注册中心的集群,四肢与器官是提供服务的微服务,前进的距离是微服务运行之后的返回值,消耗的体力是微服务中处理的逻辑,影响的记忆是某些微服务对数据库的增删改查。分布式可看成一种思想,而Spring Cloud 与 Spring Boot是实现了这种思想的工具。

无论多复杂的分布式应用程序,整合多少个服务器,调用多少种服务接口,使用多少种协议,使用集群还是高可用的何种架构方式,使用客户端还是服务端的何种负载均衡,使用哪个消息中间件、哪个数据库集群,使用搜索引擎/非关系型数据库/时序性数据库/关系型数据库/文件管理等多少种存储介质,其分布式本质都是分布式自身的思想。建议读者动手将本文实例都敲在IDE中,在Linux服务器上搭建各集群,那么上面那些看起来颇具难度的问题,都将不会是难题。

目录

主要内容

介绍微服务分布式的相关概念,搭建第一个微服务项目,了解微服务项目的运行过程。通过微服务整合Consul注册中心,搭建第一个微服务+注册中心的分布式系统。多个微服务与Consul注册中心相连,彼此通信,微服务获得彼此的接口及地址,调用彼此的接口与服务。

然后无可避免地需要处理彼此通信时报错的情况,以免单一微服务无法正常提供服务,导致整个分布式系统的瘫痪。此时采用Ribbon客户端负载均衡方案,依靠多台服务器部署多个相同微服务项目,以提高系统的性能。在分布式通信不足以解决全部报错问题时,可选择Hystrix 进行更精细划分,保证在任何一台微服务出现问题时,系统整体仍然能正常运行。

至此初步搭建了分布式系统,然后开始增加微服务的增删改查等业务功能。在系统处理增删改查过程的同时,还需要事务功能的支撑与管理。在初步增删改查后,依靠微服务的缓存增加微服务的性能,同时需要确保Redis与MySQL之间的增删改查一致性。另外,如果有特殊业务需求,可由分布式消息通信彼此协作、沟通、处理。

在处理基本业务后,还会有定时任务等业务需求,此时需要微服务的任务调度进行处理。而单节点任务调度的微服务可能会有宕机或重复执行等相关问题,只有使多台微服务同时进行任务调度,且彼此协同的情况下,才能解决此类问题。这时需要 Quartz分布式任务调度解决多个任务调度间彼此协同、相互管理等问题。若有文件上传、下载等相关需求,需要使用微服务的文件上传管理。单节点文件上传可能存在磁盘空间不足或不易管理等问题,需要 FastDFS 分布式文件管理以解决多台文件管理服务器彼此协同、磁盘扩容等问题。

第1章微服务分布式架构设计原理;

本章1.3节利用Spring Boot创建了第一个微服务应用程序。1.5节将该应用程序的端口号修改为9090。1.7节将该应用程序的properties配置文件修改成了YAML配置文件。1.8节通过单配置文件让工程适应多应用场景。1.9节通过多配置文件使工程适应多环境进行开发。

在实际工程中,分布式的环境集成经常会使用多环境配置,多环境配置是微服务十分重要的部分。另外,在实际工程中建议多运用bootstrap.yml 和 bootstrap.properties 文件,以方便日后维护。

第2章分布式的注册中心;

2.3 节初步认识了 Consul 注册中心,并且搭建了 Consul 注册中心的集群,使 Consul注册中心可以更加良好地运行。

2.4节使用Spring Cloud整合了Consul进行注册并获得其他服务的注册地址。

2.5节使用Spring Cloud整合了Consul的Config功能,可以通过Java代码获取Consul上的配置参数,方便多个微服务工程管理相同的配置信息。

在得到了其他微服务信息后,第3章将介绍使用Feign框架通过Consul注册中心调用其他微服务接口。

第3章分布式的通信;

基于微服务的分布式架构,本章使用 Feign 达到多个微服务互相通信的目的。当调用Server端出现异常时,通过Feign降级回退函数返回。

微服务集成Swagger减少了多个程序员之间的沟通成本,在某程序员提供Swagger UI后,其他程序员可以直接了解接口地址、名称、入参、返回值等信息。在得到其他接口的信息后,通过Feign Client端可以调用Server端微服务提供的接口。Feign的拦截器在Feign Client端调用其他Server接口时,对本次请求统一处理。

如果Feign Client端调用的Server端发生了报错现象,Feign的Fallback类和Feign的Fallback 工厂分别用降级回退类与降级回退工厂,直接将本次请求通过降级函数回退给前台,不会造成线程的阻塞。

如果Feign Client端调用的Server端发生超时现象,可通过配置Feign内置的Ribbon负载均衡器进行解决。一旦 Server 端发生超时现象,Feign 都会直接将本次请求通过降级函数回退给前台,不会造成线程的阻塞。

第4章分布式的客户端负载均衡;

通过将多个微服务使用相同的微服务名称注册在同一个注册中心上,Feign Client可以使用Ribbon根据算法调用其中任何一个微服务,通过多台服务器提高应用程序的并发承受能力。在分布式架构中,分布式通信是最重要的环节之一,注册中心保证分布式能够得到相关的通信地址,客户端负载均衡减小了分布式通信的并发压力。

第5章分布式的断路器;

5.2节实现了更高级的降级回退方式,在一个函数中使用多个Feign Client的Service,若有任何异常,整个函数都会回退到降级函数中。

5.4节实现了在调用某个函数后,将该函数的返回结果作为缓存,以防多次调用产生高并发,用“函数名+入参”的形式作为 Key 值,将返回结果作为 Value 值缓存。在一个函数中使用多个Feign Client的Service,以减小多个微服务之间沟通的并发压力。

5.5节实现了在多次调用某个函数后,将多个线程合并成一个线程进行调用,减小了系统内存和线程并发数量的压力。在一个函数中使用某个Feign Client的Service,将多次得到的ID合并成一个List对其他微服务进行请求,减小多个微服务之间沟通的并发压力。

5.6节利用Hystrix自带的Dashboard性能监控仪表盘页面和性能监控控件,监控其他微服务的Hystrix线程池,包括Hystrix线程池目前的剩余线程数目、线程池容量、并发情况、运行情况、执行次数等。

其实Hystrix自带的Dashboard仪表盘使用方法十分简单,在需要被监控的微服务中通过application资源配置文件打开被调用地址,通过@Bean注解将性能控件相关内容配置在 Spring 容器上,监控端Dashboard 仪表盘使用@EnableHystrix-Dashboard注解开启页面,并在页面上调用Hystrix性能控件的相关地址即可。

分布式的三大剑客:注册中心Consul(包括通信Feign)、微服务Spring Application、断路器Hystrix已经全部介绍完成。一般在分布式系统搭建初期,先要搭建三个基本要素,再在每个微服务中增加增删改查等业务逻辑。

第6章微服务的异步线程池;

异步线程池是一个底层实现复杂但使用方法非常简单的技术,优雅停止异步线程池的测试执行过程则比较复杂。此处要注意每个细节,尤其是在优雅停止异步线程池且执行完成所有应该执行的线程后,线程池中的线程数目是否正确归零。

如果想了解更多关于优化异步线程池的内容,可参考Java自带的线程池、Java第三方线程池、Java并发编程等相关内容。不论用Java自带的线程池,还是第三方开源的线程池,对于异步线程池来说都只是不同的实现而已,并无区别。因为每种线程池的优雅停止实现都不相同,所以每种不同实现出来的异步线程池的优雅停止也不同。

第7章微服务整合持久化数据源;

本章通过Spring Boot微服务整合MyBatis注解和JPA注解,达到操作数据库进行增删改查操作的效果。

由于JPA注解、MyBatis注解的分页和多表十分类似,本章不再重复介绍。通过运用7.2节和7.4节中的@Select、@Query等注解,可了解利用注解进行数据库开发的思想。

第8章微服务事务;

通过8.2节的实例更加完整地了解@Transational注解,包括该注解在@Service层对多个dao层的应用方式,扩展了第7章的内容,希望通过本章可以使读者更加清晰地理解事务的使用方式、传播行为、隔离级别等内容。

第9章微服务的缓存与分布式的消息通信;

Redis是最简洁的非关系型缓存数据库,在实际工作中使用较多。9.2节与9.6节分别使用Spring Data Redis与Spring Cache整合Redis以实现缓存的增删改查操作。

9.5节使用Redis作为消息通信中间件进行多个微服务之间的通信。

第10章微服务的任务调度与分布式的任务调度;

10.1节整合了单点任务调度,10.4节整合了分布式任务调度,以此介绍了任务调度的分布式方法。

Quartz使用方法十分简捷,在实际项目中也可以使用其他分布式解决方案的框架。其实更重要的是理解任务调度的分布式原理,而非死记硬背API。

第11章微服务的文件上传与分布式文件管理;

11.2节实现了微服务文件上传,11.7节实现了微服务的分布式上传。

11.5.4 节介绍了分布式上传的原理,以及微服务的即将上传服务器、文件服务器分割成两个服务器进行操作。FastDFS安装较为复杂,可参考相关书籍。

第12章扩展与部署;

本章拓展了分布式架构的相关方案,总结了本文前几章未涉及的Spring Boot与Spring Cloud框架扩展内容。

这份【微服务分布式架构基础与实战】笔记共有413页,需要完整版的小伙伴,可以点击此处来获取就可以了!

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
21天前
|
消息中间件 架构师 数据库
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
45岁资深架构师尼恩分享了一篇关于分布式事务的文章,详细解析了如何在10Wqps高并发场景下实现分布式事务。文章从传统单体架构到微服务架构下分布式事务的需求背景出发,介绍了Seata这一开源分布式事务解决方案及其AT和TCC两种模式。随后,文章深入探讨了经典ebay本地消息表方案,以及如何使用RocketMQ消息队列替代数据库表来提高性能和可靠性。尼恩还分享了如何结合延迟消息进行事务数据的定时对账,确保最终一致性。最后,尼恩强调了高端面试中需要准备“高大上”的答案,并提供了多个技术领域的深度学习资料,帮助读者提升技术水平,顺利通过面试。
本地消息表事务:10Wqps 高并发分布式事务的 终极方案,大厂架构师的 必备方案
|
6天前
|
弹性计算 Java 数据库
Web应用上云经典架构实战
本课程详细介绍了Web应用上云的经典架构实战,涵盖前期准备、配置ALB、创建服务器组和监听、验证ECS公网能力、环境配置(JDK、Maven、Node、Git)、下载并运行若依框架、操作第二台ECS以及验证高可用性。通过具体步骤和命令,帮助学员快速掌握云上部署的全流程。
|
23天前
|
存储 运维 数据可视化
如何为微服务实现分布式日志记录
如何为微服务实现分布式日志记录
41 1
|
1月前
|
消息中间件 Java Kafka
实时数仓Kappa架构:从入门到实战
【11月更文挑战第24天】随着大数据技术的不断发展,企业对实时数据处理和分析的需求日益增长。实时数仓(Real-Time Data Warehouse, RTDW)应运而生,其中Kappa架构作为一种简化的数据处理架构,通过统一的流处理框架,解决了传统Lambda架构中批处理和实时处理的复杂性。本文将深入探讨Kappa架构的历史背景、业务场景、功能点、优缺点、解决的问题以及底层原理,并详细介绍如何使用Java语言快速搭建一套实时数仓。
171 4
|
2月前
|
缓存 NoSQL Java
秒杀圣经:10Wqps秒杀,16大架构绝招,一文帮你秒变架构师 (2)
高并发下的秒杀系统设计是一个复杂的挑战,涉及多个关键技术点。40岁老架构师尼恩在其读者交流群中分享了16个关键架构要点,帮助解决高并发下的秒杀问题,如每秒上万次下单请求的处理、超卖问题的解决等。这些要点包括业务架构设计、流量控制、异步处理、缓存策略、限流熔断、分布式锁、消息队列、数据一致性、存储架构等多个方面。尼恩还提供了详细的实战案例和代码示例,帮助读者全面理解和掌握秒杀系统的架构设计。此外,他还分享了《尼恩Java面试宝典》等资源,帮助读者在面试中脱颖而出。如果你对高并发秒杀系统感兴趣,可以关注尼恩的技术自由圈,获取更多详细资料。
秒杀圣经:10Wqps秒杀,16大架构绝招,一文帮你秒变架构师 (2)
|
1月前
|
运维 NoSQL Java
后端架构演进:微服务架构的优缺点与实战案例分析
【10月更文挑战第28天】本文探讨了微服务架构与单体架构的优缺点,并通过实战案例分析了微服务架构在实际应用中的表现。微服务架构具有高内聚、低耦合、独立部署等优势,但也面临分布式系统的复杂性和较高的运维成本。通过某电商平台的实际案例,展示了微服务架构在提升系统性能和团队协作效率方面的显著效果,同时也指出了其带来的挑战。
85 4
|
2月前
|
消息中间件 关系型数据库 Java
‘分布式事务‘ 圣经:从入门到精通,架构师尼恩最新、最全详解 (50+图文4万字全面总结 )
本文 是 基于尼恩之前写的一篇 分布式事务的文章 升级而来 , 尼恩之前写的 分布式事务的文章, 在全网阅读量 100万次以上 , 被很多培训机构 作为 顶级教程。 此文修改了 老版本的 一个大bug , 大家不要再看老版本啦。
|
2月前
|
消息中间件 存储 负载均衡
微服务与分布式系统设计看这篇就够了!
【10月更文挑战第12天】 在现代软件架构中,微服务和分布式系统设计已经成为构建可扩展、灵活和可靠应用程序的主流方法。本文将深入探讨微服务架构的核心概念、设计原则和挑战,并提供一些关于如何在分布式系统中实现微服务的实用指导。
83 2
|
2月前
|
人工智能 文字识别 Java
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
尼恩,一位拥有20年架构经验的老架构师,通过其深厚的架构功力,成功指导了一位9年经验的网易工程师转型为大模型架构师,薪资逆涨50%,年薪近80W。尼恩的指导不仅帮助这位工程师在一年内成为大模型架构师,还让他管理起了10人团队,产品成功应用于多家大中型企业。尼恩因此决定编写《LLM大模型学习圣经》系列,帮助更多人掌握大模型架构,实现职业跃迁。该系列包括《从0到1吃透Transformer技术底座》、《从0到1精通RAG架构》等,旨在系统化、体系化地讲解大模型技术,助力读者实现“offer直提”。此外,尼恩还分享了多个技术圣经,如《NIO圣经》、《Docker圣经》等,帮助读者深入理解核心技术。
SpringCloud+Python 混合微服务,如何打造AI分布式业务应用的技术底层?
|
2月前
|
缓存 NoSQL Java
秒杀圣经:10Wqps高并发秒杀,16大架构杀招,帮你秒变架构师 (1)
高并发下,如何设计秒杀系统?这是一个高频面试题。40岁老架构师尼恩的读者交流群中,近期有小伙伴在面试Shopee时遇到了这个问题,未能很好地回答,导致面试失败。为此,尼恩进行了系统化、体系化的梳理,帮助大家提升“技术肌肉”,让面试官刮目相看。秒杀系统设计涉及16个架构要点,涵盖业务架构、流量架构、异步架构、分层架构、缓存架构、库存扣减、MQ异步处理、限流、熔断、降级、存储架构等多个方面。掌握这些要点,可以有效应对高并发场景下的秒杀系统设计挑战。
秒杀圣经:10Wqps高并发秒杀,16大架构杀招,帮你秒变架构师 (1)