【转载】大型网站架构演化

简介:

大型网站系统特点

  • 高并发、大流量:PV 量巨大
  • 高可用:7*24 小时不间断服务
  • 海量数据:文件数目分分钟 xxTB
  • 用户分布广泛,网络情况复杂:网络运营商
  • 安全环境恶劣:黑客的攻击
  • 需求快速变更,发布频繁:快速适应市场,满足用户需求
  • 渐进式发展:慢慢地运营出大型网站

大型网站架构演化过程

  (1)初始阶段网站架构一台 Server 就刚需应用程序、数据库、文件等所有资源都集中在一台 Server 上,典型案例:基于 LAMP 架构的 PHP 网站;

  (2)应用和数据服务分离三台 Server 平天下。业务发展,单台不再适应业务的发展,将应用和数据分离后成三台 Server(应用服务器、文件服务器与数据库服务器)。分离后三台 Server 对硬件资源的需求各不相同:应用服务器需要更快更强大的 CPU,而数据库服务器需要更快的硬盘和更大的内存,文件服务器则需要更大的硬盘;

  (3)使用缓存改善网站性能3+X 的 Server 模式减少数据库访问压力,提高网站的数据访问速度。缓存又可以分为:本地缓存和远程缓存(可以是分布式的),本地缓存访问速度快,但数据量有限;远程分布式缓存可以集群,因此容量不受限制;

  (4)使用应用服务器集群改善网站并发处理能力:通过集群解决高并发、海量数据问题的常用手段,实现系统的可伸缩性。通过负载均衡调度器,可将用户访问分发到集群中的某台 Server 上,应用服务器的负载压力不再成为整个网站的瓶颈

  

  (5)数据库读写分离:使用缓存后,绝大部分操作都可以不通过 DB 就能完成,但仍有一部分(缓存访问不命中、缓存过期)和全部的写操作需要访问 DB,在网站的用户达到一定规模后,DB 因为负载压力过高成为网站的瓶颈。大部分主流 DB 都提供主从热备功能,利用这一功能就可以配置两台 DB 主从关系,一台数据更新同步到另一台 Server 上。网站利用 DB 的这一功能,实现 DB 读写分离,从而改善 DB 负载压力

  (6)使用反向代理和 CDN 加速网站响应:CDN 和反向代理的基本原理都是缓存区别在于 CDN 部署在网络提供商的机房,而反向代理则部署在网站的中心机房。使用 CDN 和反向代理的目的都是尽早返回数据给用户,一方面加快用户访问速度,另一方面也减轻后端服务器的负载压力。

  (7)使用分布式文件系统分布式数据库系统:随着网站业务的发展,两台 DB 服务器依然不能满足需求,文件系统也一样。

  (8)使用 NoSQL 和搜索引擎:NoSQL 和搜索引擎都是源自互联网的技术手段,对可伸缩的分布式特性具有更好的支持。应用服务器则通过一个统一数据访问模块访问各种数据,减轻应用程序管理诸多数据源的麻烦。

  (9)业务拆分:通过分而治之的手段将整个网站业务分成不同的产品线,如淘宝将首页、商铺、订单、卖家、买家等拆分成不同的产品线,分归不同的业务团队负责。各个应用之间可以通过建立一个超链接建立关系,也可以通过消息队列进行数据分发。

  (10)分布式服务:既然每一个应用系统都需要执行许多相通的业务操作,比如用户管理、商品管理等,那么可以将这些共用的业务提取出来,独立部署。

大型网站架构演化价值观

  • 核心价值:随网站所需灵活应对;大型网站不是从无到有一步就搭建好一个大型网站,而是能够伴随小型网站业务的渐进发展,慢慢地演化成一个大型网站;
  • 驱动力量:网站的业务发展—业务成就了技术,事业成就了人,而不是相反;

大型网站架构设计的误区

  • 一味追随大公司的解决方案;
  • 为了技术而技术-->常见问题;
  • 企图用技术解决所有问题:技术是用来解决业务问题的,而业务的问题,也可以通过业务的手段去解决;

本章思维导图

相关实践学习
Serverless极速搭建Hexo博客
本场景介绍如何使用阿里云函数计算服务命令行工具快速搭建一个Hexo博客。
目录
相关文章
|
5月前
|
缓存 NoSQL 应用服务中间件
性能基础之大型网站架构演化(整理篇)
【2月更文挑战第14天】性能基础之大型网站架构演化(整理篇)
85 1
性能基础之大型网站架构演化(整理篇)
|
2月前
|
运维 Cloud Native 开发者
云原生时代下的微服务架构演化之路
【8月更文挑战第20天】在数字化转型的浪潮下,企业级应用纷纷拥抱云原生架构。本文将深入探讨微服务架构在适应云原生环境的过程中所面临的挑战与机遇,并分析如何通过优化设计、容器化技术及自动化运维,实现高效、灵活且可靠的系统构建。
172 65
|
2月前
|
消息中间件 存储 Java
图解Kafka:Kafka架构演化与升级!
图解Kafka:Kafka架构演化与升级!
54 0
图解Kafka:Kafka架构演化与升级!
|
2月前
|
Cloud Native 持续交付 开发者
云原生之旅:从传统到现代的架构演化
本文将通过一次虚拟的旅行,带领读者穿越回过去,探索软件架构的发展脉络。我们将从单体应用开始,一路经过服务化拆分,最终抵达云原生的乐土。这不仅是一段技术演进的历史,也是对如何在不断变化的技术浪潮中保持初心与创新的启示录。
35 2
|
4月前
|
运维 监控 Cloud Native
云原生架构的演化与实践
【6月更文挑战第29天】云原生技术,作为现代软件开发和运维的前沿阵地,其核心理念在于构建可弹性扩展、高度可靠且易于管理的系统。本文将深入探讨云原生架构的发展脉络,解析其关键技术组件,并通过实际案例展示如何将这些原则应用于日常开发和运维中。我们还将讨论在采纳云原生技术时所面临的挑战及应对策略,以期为读者提供一套全面而实用的云原生解决方案。
149 1
|
5月前
|
敏捷开发 监控 测试技术
软件架构的艺术:探索演化之路上的18大黄金原则
实际工作表明,一步到位的设计往往不切实际,而演化原则指导我们逐步优化架构,以灵活响应业务和技术的变化。这不仅降低了技术债务和重构风险,还确保了软件的稳定性和可扩展性。同时,架构的持续演进促进了团队协作,激发了成员间的知识共享与技能提升。
110 0
软件架构的艺术:探索演化之路上的18大黄金原则
|
消息中间件 监控 数据处理
消息队列和应用工具产品体系-APM 系统简述和架构演化
消息队列和应用工具产品体系-APM 系统简述和架构演化
|
5月前
|
开发框架 供应链 监控
【从零开始学微服务】03.软件架构的演化过程
大家好,欢迎来到万猫学社,跟我一起学,你也能成为微服务专家。
68 0
【从零开始学微服务】03.软件架构的演化过程
|
缓存 负载均衡 应用服务中间件
大型网站技术架构(一)——大型网站架构演化
大型网站技术架构(一)——大型网站架构演化
|
消息中间件 分布式计算 Java
「事件驱动架构」Kafka中的模式注册表和模式演化
「事件驱动架构」Kafka中的模式注册表和模式演化
下一篇
无影云桌面