阿里是如何使用分布式架构的?阿里内部学习手册分享

简介: 为什么要使用分布式架构?分布式架构解决了互联网应用的两大难题:高并发和高可用。高并发指服务器并发处理客户端请求的数量大,而高可用指后端服务能始终处于可用状态。

为什么要使用分布式架构?分布式架构解决了互联网应用的两大难题:高并发和高可用。高并发指服务器并发处理客户端请求的数量大,而高可用指后端服务能始终处于可用状态。

提高系统容量

随着业务越来越复杂,服务也会变得越来越复杂,单台机器的CPU、内存已经无法满足部署一个庞大系统的性能要求。当然可以通过提高系统配置暂时解决问题,但是不管如何提高系统的配置,单台机器总会达到性能瓶颈的时候,所以需要多台机器才能应对这些扩张的功能。通过水平(加机器)和垂直(拆分为多个子系统)拆分系统,变成了一个分布式架构。

解决单点故障

在单台机器上部署服务,如果机器出现故障导致服务挂了,那么整个系统就会崩溃了。因此就要提高系统的可用性,系统的高可用性意味着一群服务器运行时与单台机器运行时没区别。这意味着要解决系统架构中的单点故障问题,通过引入分布式架构来增加冗余,从而提高系统的可用性,即使单台机器挂了也能保证服务正常运作。

基于上面两个原因,我们就需要分布式系统来解决系统容量不足和系统高可用问题。

虽然上边说了这么多,但是如何进行系统的学习分布式仍旧是一个不小的难题,基于这些原因,老师在这里为大家分享一份阿里巴巴的分布式学习手册!

整套内部学习手册分为了六个学习部分:协调与同步、资源管理与负载调度、计算机技术、通信技术、数据存储、高可靠!

协调与同步

  1. 分布式互斥
  2. 分布式选举
  3. 分布式共识
  4. 分布式事务
  5. 分布式锁
  6. 分布式技术是如何引爆人工智能的?


资源管理与负载调度

  1. 分布式体系结构:集中式结构
  2. 分布式体系结构:非集中式结构
  3. 分布式调度架构:单体调度
  4. 分布式调度架构:两层调度
  5. 分布式调度架构:共享状态调度
  6. 分布式事务与分布式锁的相关问题


计算技术

  1. 分布式计算模式:MR
  2. 分布式计算模式:Stream
  3. 分布式计算模式:Actor
  4. 分布式计算模式:流水线


通信技术

  1. 分布式通信:远程调用
  2. 分布式通信:发布订阅
  3. 分布式通信:消息队列
  4. 分布式体系架构与分布式计算相关问题


数据存储

  1. CAP理论
  2. 分布式数据存储系统:三要素
  3. 数据分布方式:哈希与一致性哈希
  4. 分布式数据复制技术
  5. 分布式数据:缓存技术


高可靠

  1. 分布式高可靠:负载均衡
  2. 分布式高可靠:流量控制
  3. 分布式高可用:故障隔离
  4. 分布式高可用:故障恢复
  5. 如何判断并解决网络分区的问题?

最后的最后需要领取这套手册笔记可以点击此处来获取就可以了!

相关文章
|
15天前
|
机器学习/深度学习 分布式计算 算法
联邦学习是保障数据隐私的分布式机器学习方法
【6月更文挑战第13天】联邦学习是保障数据隐私的分布式机器学习方法,它在不暴露数据的情况下,通过在各设备上本地训练并由中心服务器协调,实现全局模型构建。联邦学习的优势在于保护隐私、提高训练效率和增强模型泛化。已应用于医疗、金融和物联网等领域。未来趋势包括更高效的数据隐私保护、提升可解释性和可靠性,以及与其他技术融合,有望在更多场景发挥潜力,推动机器学习发展。
26 4
|
1月前
|
消息中间件 分布式计算 中间件
秀出天际!阿里甩出的988页分布式微服务架构进阶神仙手册我粉了
秀出天际!阿里甩出的988页分布式微服务架构进阶神仙手册我粉了
|
1月前
|
并行计算 算法 物联网
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
LLM 大模型学习必知必会系列(七):掌握分布式训练与LoRA/LISA微调:打造高性能大模型的秘诀进阶实战指南
|
1天前
|
存储 SQL 分布式计算
技术心得记录:深入学习HBase架构原理
技术心得记录:深入学习HBase架构原理
|
8天前
|
负载均衡 NoSQL 关系型数据库
Redis分布式锁学习总结
Redis分布式锁学习总结
13 0
|
1月前
|
运维 架构师 安全
架构师养成手册:架构师职责
小米是一名热情的技术爱好者和架构师,他探讨了架构师的角色和职责。主要涉及六个方面:顶层设计,需与企业战略目标对齐,制定架构原则;规划可适应未来变化的企业架构,分析需求并关注技术趋势;全局视角制定可落地的架构方案,兼顾全局与局部优化;技术选型与难题解决,选择合适技术并解决实际问题;关注方案与代码的广度与深度,确保宏观设计与微观实现的统一;同时,架构师还需具备管理能力,包括团队协作、资源调配和风险管理。
59 11
|
1月前
|
监控 负载均衡 架构师
架构师养成手册:性能指数
本文介绍了架构师关注的性能指标,包括QPS(每秒查询率)、TPS(每秒事务处理数)、RT(响应时间)、UV(独立访客数)、并发数和线程数。QPS和TPS衡量系统处理能力,RT影响用户体验,UV评估网站流量,高并发和线程管理关乎系统稳定性和效率。理解并优化这些指标有助于构建高性能系统。
40 8
|
1月前
|
存储 缓存 负载均衡
架构师养成手册:必知名词
本文介绍了五个对架构师至关重要的技术概念:1) 缓冲(Buffer)用于临时存储数据,解决I/O速度不匹配问题;2) 缓存(Cache)是高速存储技术,提高数据访问速度;3) 复用(Pool)如连接池,减少资源浪费,提高效率;4) 分治(Sharding)是大规模数据的分布式处理,实现数据并行处理;5) 粘性(Sticky)会话,保持用户数据在特定服务器,提升体验和稳定性。架构师需在性能、成本等因素间做出权衡(Trade-off)。
26 1
|
1月前
|
Android开发
Android Jetpack架构开发组件化应用实战,字节跳动+阿里+华为+腾讯等大厂Android面试题
Android Jetpack架构开发组件化应用实战,字节跳动+阿里+华为+腾讯等大厂Android面试题
|
1月前
|
NoSQL Java 关系型数据库
爱了!阿里高工纯手打金三银四Java架构面试大全,涵盖近年来1000余道大厂面试真题
爱了!阿里高工纯手打金三银四Java架构面试大全,涵盖近年来1000余道大厂面试真题

热门文章

最新文章