性能基础之大型网站架构演化(整理篇)

简介: 【2月更文挑战第14天】性能基础之大型网站架构演化(整理篇)

引言

本文整理自《大型网站技术架构 核心原理与案例分析》一书,这本书应该算一本很强的内功秘籍,虽然没有实战教学,但是基础理论扎实了是很重要的,书中观点明确,设计的问题域有针对性和全面性,对知识点的广度和深度都进行了拓展,包含了架构设计的方方面面。

阅读本书也许不能使你就此掌握大型网站架构设计的屠龙之术,但至少使你对网站架构的方法和思维方式能有全面了解。

开卷有益,说的应该就是这类书,在完整的看完本书之后的工作和学习中也会偶尔翻阅一下,解惑及加深理解。

大型软件系统的特点

image.png

大型网站的架构要素

image.png

大型网站演化发展历程

初始阶段的网站架构

初始阶段都比较简单,通常一台服务器就可以搞定一个网站了,后期逐渐优化,向更优的方向进化!

image.png

应用服务和数据服务分离

  • 随着网站业务发展,一台服务器逐渐不能满足需求:越来越多的用户访问导致性能越来越差,越来越多的数据导致存储空间不足。
  • 这时需要将应用和数据分离,分离后我那个站使用三台服务器:应用服务器、文件服务器和数据库服务器。
    image.png

使用缓存改善网站性能

  • 随着用户逐渐增多,数据库压力太多导致访问延迟,进而影响整个网站的性能,用户体验受到了影响。
  • 网站访问特点和现实世界的财富分配一样遵循二八定律:80%的业务访问集中在20%的数据上。
  • 把这一小部分数据缓存在内存中,可以减少数据库的访问压力,提供整个网站的数据库访问速度,改善数据库的写入性能。
  • 网站使用的缓存可以分为两种:
    • 缓存在应用服务器上的本地缓存。
      • 本地缓存的访问速度更快一些,但是受应用服务器内存的限制,其缓存数据量有限,而且会出现和应用程序征用内存的情况。
    • 缓存在专门的分布式缓存服务器上的远程缓存。
      • 远程分布式缓存可以使用集群的方式,部署大内存的服务器作为专门的缓存服务器,可以在理论上做到不受内存容量限制的缓存服务。

image.png

使用应用服务器集群改善网站的并发处理能力

  • 单一应用服务器能够处理的请求连接有限,在网站访问高峰期,应用服务器成为整个网站的瓶颈。
  • 使用集群是网站解决高并发、海量数据问题的常用手段。
  • 通过负载均衡调度服务器,可将来自用户浏览器的访问请求分发到应用服务器集群中的任何一台服务器上,如果有更多的用户,就在集群中加入更多的应用服务器,使应用服务器的负载压力不再成为整个网站的瓶颈。
    image.png

数据库读写分离

  • 使用缓存后,绝大部分数据读写操作可以不通过数据库就能完成,但是仍有一部分读操作和全部写操作需要访问数据库,在网站达到一定规模后,数据库因为负载压力过高成为了网站的瓶颈。
  • 通过数据库提供的主从热备功能,配置两台数据库主从关系,可以将一台数据库服务器的数据更新同步到另一台服务器上,从而实现数据库读写分离,改善数据库负载压力。
  • 主数据库负责写操作,并通过主从复制机制将数据更新同步到从数据库,从数据负责读操作。

image.png

目前很多云服务商都有类似的产品提供,当然,也可以自己搭建数据库集群并在业务代码中进行读写分离的实现

使用反向代理和CDN加速网站响应

  • 由于中国复杂的网络环境,不同地区的用户访问网站时,速度差别也极大,网站需要加速网站访问速度,主要手段有使用CDN和反向代理。
  • CDN和反向代理的基本原理都是缓存,区别在于CDN部署在网络提供的机房,使用户在请求网站服务时。可以从距离自己最近的网络提供商机房获取数据;
  • 而反向代理则部署在网站的中心机房,当用户请求到达中心机房后,首先访问的服务器是反向代理服务器,如果反向代理服务器中缓存着用户请求的资源,就将其直接返回给用户。

image.png

使用分布式文件系统和分布式数据库系统

  • 任何强大的单一服务器都满足不了大型网站持续增长的业务需求,数据库系统和文件系统需要使用分布式系统。
  • 分布式数据库是网站数据库拆分的最后手段,只有在单表数据规模非常庞大的时候才使用,不到不得已时,网站更常用的数据库拆分手段是业务分库,将不同业务的数据部署在不同的物理服务器上。

image.png

使用NoSQL和搜索引擎

  • 随着网站业务越来越复杂,对数据存储和检索的需求也越来越复杂,网站需要采用一些非关系数据库技术如NoSQL和非数据库查询技术如搜索引擎。各种开源产品不断涌现,遍地开花:redis、mongodb、solr、elastic stack、hadoop、spark......

image.png

业务拆分

  • 为了应对日益复杂的业务场景,通过使用分而治之的手段将整个网站业务分成不同的产品线,如大型购物交易网站就会将首页、商铺、订单、买家、卖家等拆分成不同的产品线,分归不同的业务团队复负责。
  • 会根据产品线划分,将一个网站拆分成许多不同的应用,每个应用独立部署维护。应用间可以通过一个超连接建立关系,或者通过消息队列进行数据分发,最多的还是通过访问同一个数据存储系统来构成一个关联的完整系统。

image.png

分布式服务

  • 既然每一个应用系统都需要执行许多相同的业务操作,比如用户管理、商品管理等,那么可以将这些共用的业务提取出来,独立部署。
  • 由这些可复用的业务连接数据库,提供共用业务服务,而应用系统只需要管理用户界面,通过分布式服务调用共同业务服务完成具体业务操作。

image.png

目录
相关文章
|
8月前
|
存储 调度 C++
16 倍性能提升,成本降低 98%! 解读 SLS 向量索引架构升级改造
大规模数据如何进行语义检索? 当前 SLS 已经支持一站式的语义检索功能,能够用于 RAG、Memory、语义聚类、多模态数据等各种场景的应用。本文分享了 SLS 在语义检索功能上,对模型推理和部署、构建流水线等流程的优化,最终带给用户更高性能和更低成本的针对大规模数据的语义索引功能。
635 72
|
10月前
|
存储 数据挖掘 BI
2-5 倍性能提升,30% 成本降低,阿里云 SelectDB 存算分离架构助力波司登集团实现降本增效
波司登集团升级大数据架构,采用阿里云数据库 SelectDB 版,实现资源隔离与弹性扩缩容,查询性能提升 2-5 倍,总体成本降低 30% 以上,效率提升 30%,助力销售旺季高效运营。
597 9
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
12月前
|
人工智能 API 数据安全/隐私保护
Apifox 与 Apipost 的 API 文档引擎对比:底层架构、性能与可扩展性分析
深入探索市场上两大主流API工具——Apifox和Apipost的文档能力时,发现了令人惊讶的差距。这不仅仅是功能多寡的问题,更关乎开发效率与团队协作的质变。
|
SQL 缓存 分布式计算
vivo 湖仓架构的性能提升之旅
聚焦 vivo 大数据多维分析面临的挑战、StarRocks 落地方案及应用收益。 在 **即席分析** 场景,StarRocks 使用占比达 70%,查询速度提升 3 倍,P50 耗时从 63.77 秒缩短至 22.30 秒,查询成功率接近 98%。 在 **敏捷 BI** 领域,StarRocks 已完成 25% 切换,月均查询成功数超 25 万,P90 查询时长缩短至 5 秒,相比 Presto 提升 75%。 在 **研发工具平台** 方面,StarRocks 支持准实时数据查询,数据可见性缩短至 3 分钟,查询加速使 P95 延迟降至 400 毫秒,开发效率提升 30%。
vivo 湖仓架构的性能提升之旅
|
9月前
|
存储 JSON 数据处理
ClkLog埋点与用户行为分析系统:架构升级与性能全面提升
随着越来越多企业在实际业务中使用 ClkLog,数据规模和分析需求也不断提升,部分用户日活已经超过10万,为了顺应这一趋势,ClkLog 秉持 “开放透明、持续演进”的理念,推出了迄今为止最重要的一次性能优化升级。新版本在大规模数据处理与复杂查询场景中,性能表现实现了跨越式提升。经过多轮研发与严格测试,新版本现已正式上线:在原有付费版 1.0 的基础上架构全面升级,并同步发布全新的 2.0 版本。为用户带来更强的性能与更广的适用场景。
|
Cloud Native Java API
聊聊从单体到微服务架构服务演化过程
本文介绍了从单体应用到微服务再到云原生架构的演进过程。单体应用虽易于搭建和部署,但难以局部更新;面向服务架构(SOA)通过模块化和服务总线提升了组件复用性和分布式部署能力;微服务则进一步实现了服务的独立开发与部署,提高了灵活性;云原生架构则利用容器化、微服务和自动化工具,实现了应用在动态环境中的弹性扩展与高效管理。这一演进体现了软件架构向着更灵活、更高效的方向发展。
|
12月前
|
关系型数据库 MySQL 分布式数据库
Super MySQL|揭秘PolarDB全异步执行架构,高并发场景性能利器
阿里云瑶池旗下的云原生数据库PolarDB MySQL版设计了基于协程的全异步执行架构,实现鉴权、事务提交、锁等待等核心逻辑的异步化执行,这是业界首个真正意义上实现全异步执行架构的MySQL数据库产品,显著提升了PolarDB MySQL的高并发处理能力,其中通用写入性能提升超过70%,长尾延迟降低60%以上。
|
12月前
|
存储 缓存 分布式计算
高内存场景必读!阿里云r7/r9i/r8y/r8i实例架构、性能、价格多维度对比
阿里云针对高性能需求场景,一般会在活动中推出内存型r7、内存型r9i、内存型r8y和内存型r8i这几款内存型实例规格的云服务器。相比于活动内的经济型e和通用算力型u1等实例规格,这些内存型实例在性能上更为强劲,尤其适合对内存和计算能力有较高要求的应用场景。这些实例规格的云服务器在处理器与内存的配比上大多为1:8,但它们在处理器架构、存储性能、网络能力以及安全特性等方面各有千秋,因此适用场景也各不相同。本文将为大家详细介绍内存型r7、r9i、r8y、r8i实例的性能、适用场景的区别以及选择参考。