高性能、高可用平台架构演变史

简介: 原文:高性能、高可用平台架构演变史 开篇概述 在如今移动互联网、互联网+、大数据的时代,各类的互联网网站、平台异常突起,如同雨后春笋,有种“忽如一夜春风来,千树万树梨花开”感觉。 对于移动互联网时代的平台来说,用户的体验感是否良好?平台的稳定性是否良好?估计是对所有互联网平台来说两大头等要素吧,的确,移动互联网时代,流量就是市场价值,说白了就是收益,就是RMB,失去了流量,那么你也就失去了赚取收益的机会与机遇。
+关注继续查看
原文:高性能、高可用平台架构演变史

开篇概述

在如今移动互联网、互联网+、大数据的时代,各类的互联网网站、平台异常突起,如同雨后春笋,有种“忽如一夜春风来,千树万树梨花开”感觉。
对于移动互联网时代的平台来说,用户的体验感是否良好?平台的稳定性是否良好?估计是对所有互联网平台来说两大头等要素吧,的确,移动互联网时代,流量就是市场价值,说白了就是收益,就是RMB,失去了流量,那么你也就失去了赚取收益的机会与机遇。

img_31c43aedeb79655843d2dda875f8d8ac.jpe

因此,对于互联平台或网站来说,网站的高可用、不间断服务也是平台运营过程中的一个重大决定因素,比如说某平台,三天两头的故障,打不开,又或者说,经常性的出现错误、访问超时等等问题,那么用户的流失机率就会随之增加。
那么今天我们就来聊一聊各类高可用架构的一个演变过程到底是如何的?此文民工哥用时三小时总结写作完成,希望对大家有所帮助,欢迎大家拍砖、留言、点赞、转发分享以支持。

什么是高可用?

“高可用性”(High Availability)通常来描述一个系统经过专门的设计,从而减少停工时间,而保持其服务的高度可用性。简而言之,就是不间断对外提供服务。

架构之初

架构图

img_595a4695e0da07379cfe3b227a9f32c9.png

架构简述

这类架构比较适用于初创企业或流量较小的平台。
此种架构一般都是在平台运行之初所用到的架构,日均PV不大,简单的架构足以能够应对用户的流量请求,比如前端网站使用Apache/nginx都可以,APP服务器直接使用JAVA环境如tomcat应用,互联网平台的数据库大部分使用Mysql,备份服务器一般都备份一些常用的配置、代码、数据库数据的备份文件等。因此,民工哥称它为架构之初。

架构中期

随着用户数量的增长、访问量的增加,随之而来的问题就是单台服务器已无法承受用户的访问流量,因此前期的基础架构就需要面临一定的调整,大概调整如下

架构图

img_5e5ccf8ee455ab9cef7047f747129522.png

架构简述

这类架构就此引入了负载均衡的概念,关于应用的负载均衡,前面也有相关的文章介绍,具体文章链接如下
nginx负载均衡与反向代理
Nginx+Tomcat多实例及负载均衡配置

负载均衡的开源软件较多,通常会有以下两种方式

  • 硬件负载——F5 7层或者4层网络代理
  • 软件负载——nginx、haproxy开源负载均衡软件

负载均衡的算法通常有:

  • 轮询法
  • 随机法
  • 源地址哈希法
  • 加权轮询法
  • 加权随机法
  • 最小连接数法

具体使用何种方式,一切以企业实际需求、投入与产出比(成本考虑)为主,但是此类架构也有一定的缺点存在,暂时不考虑前端负载设备的高可用,比如用户的上传与查看文件问题(通过A服务访问上传,然后负载查看时是通B服务器的,就会造成用户无法查看的问题),APP服务器同理;数据库服务器存在主、从库单点问题,一旦故障,可以手工进行故障切换,但是可能会造成数据丢失或不统一,并且会在一定程度上给用户造成不好的体验;因此仍需演变。

架构图

img_526ba9c9eaf38973ed4d3f6150b1a350.png

架构简述

此架构在上面的架构基础,以应对各类问题做出的修改,增加了数据存储服务器(NFS共享存储Linux系统NFS网络文件系统),对于存储架构及源件,其实挺多的,具体有以下几种开源软件服务

  • 1、NFS网络共享存储文件系统
  • 2、FastDFS 轻量级网络文件系统(参考文章:分布式文件系统FastDFS详解)
  • 3、分布式文件系统MooseFS
  • 4、GlusterFS文件系统

并配置负载均衡、并且还解决了单点故障的问题,对于数据库服务器做出了一定的架构调整,为双主多从的架构,对于数据库的各种高可用架构,前面也有文章做过分析,具体如:
浅谈MySQL集群高可用架构

MySQL集群高可用架构之MHA

但是所有架构都是要以实际需求(如对数据完整性、一致性的要求为主),从而解决主库单点问题、从库读取量大的性能问题,保证在一定量用访问时的平台性能与高可用

架构终期

架构图

img_7244b951bdf8c8c6e1607fe5b30c4acc.png

架构简述

架构演变到一定程度,仅通过平行的扩展或增加服务器数量可能已无法解决相关的性能问题,因此

第一,在用户访问初始阶段就会使用CDN加速技术,来提高用户的访问体验度;

第二,按照业务来拆分成不同的服务,通过拆分服务、相同服务布署多个实例的架构来达到扩展的目的,来提高一定的性能,也能保证平台的高可用性;服务拆分后,也能一定限度的解决发布问题,因为服务之间彼此独立,服务之间耦合性不强,也比较方便平时的维护;

第三,对于用户与数据库之间的瓶颈问题,考虑加上缓存技术来提高一定的访问性能与高可用性,让用户的访问流量在到达数据库之前直接过滤掉一部分,甚至一大半,从而减轻数据库访问压力,在查多写少的场景,非常适用使用缓存来提升查询服务的性能,减轻对数据库的压力。通常使用redis作为缓存服务器,redis的一些集群机制能很大程度上保证缓存服务的高可用性(Redis集群生产环境高可用方案实战过程),缓存服务故障时,还能从数据库获取信息。然后对于备份服务器也简单的做调整保证数据的完整性,一方面也能及时保障应用的高可用性;其实一些大型分布式的系统在缓存这块还是比较倾向于memcached服务(Linux系统Memcached服务介绍),比如像一些用户的登录信息同步到其它系统此种场景,一般布署在前台应用层与数据存储层中间,应对前端应用大量请求与快速响应,从而减少数据库的访问压力,也能提高用户的访问体验度。

也有一部分平台架构是采用分层的方式

前端应用层:

  •  给用户提供页面展示、查找、搜索的界面及相关的最终结果显示页面
    后端服务层:
  •  一般包括像常用的后台服务、用户管理、接口管理、支付管理等,都是给前端应用提提供服务的
    ** 数据存储层:**
  • 这个就很容易理解,像数据库、文件系统、缓存等一系列提供数据访问与存储的

所以因此也有下面的这类架构产生

img_c9153a833c64547cf51272e166d3992c.jpe

最终总结

高可用、高性能只能说是一个阶段、一个时期的,没有完美的架构,只有不断演变、不断完善的架构。因此,今天所说的高性能、高可用架构,可能不尽完美,但归根结底总结成一句话:“让用户的访问流量尽量靠前,一步步分层去过滤用户流量,快速响应用户的请求,从而达到比较好的用户体验”。

@版权属于作者,来自民工哥原创作品,如需转载,请注明出处及作者信息。

相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
目录
相关文章
|
4天前
|
容灾 测试技术 数据库
第四章:OceanBase集群技术架构(数据可靠及高可用)
第四章:OceanBase集群技术架构(数据可靠及高可用)
11 0
|
12月前
|
分布式计算 负载均衡 算法
企业集群平台架构设计与实现1vs篇1|学习笔记
快速学习企业集群平台架构设计与实现1vs篇1
133 0
企业集群平台架构设计与实现1vs篇1|学习笔记
|
SQL 存储 关系型数据库
OceanBase 4.0:当我们谈单机分布式一体化架构时,我们在说什么?
OceanBase 4.0:当我们谈单机分布式一体化架构时,我们在说什么?
394 0
OceanBase 4.0:当我们谈单机分布式一体化架构时,我们在说什么?
|
缓存 负载均衡 算法
“软件系统三高问题”高并发、高性能、高可用系统设计经验
​ 总的来说解决三高问题核心就是 “分字诀” 业务分层、系统分级、服务分布、数据库分库/表、动静分离、同步拆分成异步、单线程分解成多线程、原数据缓存分离、分流等等。。。。 直观的表述就是:从前端用的CDN、动静分离,到后台服务拆分成微服务、分布式、负载均衡、缓存、池化、多线程、IO、分库表、搜索引擎等等。都是强调一个“分”字。
1082 0
“软件系统三高问题”高并发、高性能、高可用系统设计经验
|
存储 运维 监控
蚂蚁超大规模分布式系统稳定性体系实践
大规模分布式系统的稳定性建设,是确保业务服务不受硬件、人为等风险因素影响而中断的核心工作,随着业务规模增大和复杂度的提升,系统稳定性的重要程度和难度也随之增大。在蚂蚁集团业务发展过程中,业务复杂度、用户规模以及业务重要性都逐步增大,相应的稳定性建设也伴随着业务的发展进行了不断地建设和提升。
1380 1
蚂蚁超大规模分布式系统稳定性体系实践
|
弹性计算 编解码 负载均衡
构建在线教育弹性高可用视频处理架构实战
对于负责建设视频处理系统的技术团队而言,这样的业务场景就留给了他们一系列的挑战。
1655 0
构建在线教育弹性高可用视频处理架构实战
|
存储 分布式数据库 数据库
时序数据库技术和架构演进
在阿里云栖开发者沙龙时序数据库技术专场上,阿里巴巴数据库产品事业部技术专家渐醨为大家介绍了时间序列数据库的前世今生,为大家解读了时序数据库的由来、发展、现状、未来,并重点比较了目前时序数据库的热门产品和项目。
7934 0
|
存储 缓存 负载均衡
「架构技术专题」超详细网站伸缩性架构的设计(7)
首先,所谓网站的伸缩性,指不需要改变网站的软硬件设计,仅仅通过改变部署的服务器数量就可以扩大或者缩小网站的服务处理能力。在整个互联网行业的发展渐进演化中,最重要的技术就是服务器集群,通过不断地向集群中添加服务器来增强整个集群的处理能力。
推荐文章
更多