很多平台一旦做大了,平台的流量就会陡增,同时并发访问的流量也会暴增,原本规划的硬件配置就无法满足当下的流量问题。
那么如何处理好高并发的流量问题呢?
小编将这些分为2个方面:架构层面和网站本地项目层面。
一、架构层面
1、硬件升级
假设一台服务器最多能支持每天10万独立IP,如果访问量增大的话,那么必须升级这台服务器的配置才能解决问题,否则怎么优化都不可能彻底解决性能问题。
这对于企业用户来说不是问题,买就是了。
为了避免采购浪费,建议先对服务器做一下压力测试,看看到底能支持多少访问量。
详细参考《怎么做服务器压力测试?》
建议使用:
阿里云服务器ECS,阿里云的口碑不用说了,最主要的是可以弹性扩展升级。
阿里云哪个节点服务器好?ping一下看看:https://ping.gaomeluo.com/aliyun/
2、负载均衡
它是对多台云服务器进行流量分发的负载均衡服务,让整个服务器群来处理网站的请求。负载均衡支持亿级连接和千万级并发,可轻松应对大流量访问,满足业务需求。
一般有钱的公司,可以购买专门负责负载均衡的硬件,效果肯定会很好。
但是对于大部分公司,会选择廉价有效的方法扩展整个系统的架构,来增加服务器的吞吐量和处理能力,以及承载能力。通常会选择相对成熟的成品架构,比如:阿里云的负载均衡SLB
详细可参考《阿里云负载均衡SLB怎么用》
3、服务器集群
服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行。
如果你的企业、平台够大,那么完全可以自己来搞集群。但是对于一遍企业来讲,这种服务器框架耗钱、耗时、耗力。好在现在云服务厂商都提供了集群服务器,比较有名的就是阿里云集群。这也给企业省去不少人力、时间成本。
详细可参考《如何搭建阿里云集群服务器》
4、分布式结构
分布式结构就是将一个完整的系统,按照业务功能,拆分成一个个独立的子系统,在分布式结构中,每个子系统就被称为“服务”.这些子系统能够独立运行在web容器中,它们之间通过RPC方式通.
好处就是系统之间的耦合度大大降低,可以独立开发、独立部署、独立测试,系统与系统之间的边界非常明确,排错也变得相当容易,开发效率大大提升。
提示一下:
负载均衡:
是一种优化手段,目的是为了让集群中的每台机器的负载保持均衡,这样就不会出现集群中某台机器挂了的情况;
集群:
多台机器做相同的业务,对外如一台机器在做事情一样,集群中任意一台机器挂了没有影响,因为其他机器还在工作;
分布式:
一个业务在不同的物理点上做,比如web服务器、应用服务器、数据库服务器,这三个节点分开部署在不同的机器上,共同完成一个业务;分布式的特点是,每个节点都不能挂,否则这个业务就不能完成了;当然,我们可以给分布式中的每个节点都做集群处理,这样可以降低分布式系统的单节点故障;
所以,针对自己业务量大小,对上述的负载均衡、服务器集群、分布式结构,任意选用方案。
二、网站本地项目层面
1、页面静态化
前台实现完全的静态化最好,可以完全不用访问数据库。这样服务器的压力就减轻了不少。
这点我们可以借鉴一些比较成熟的框架方案,比如说dedecms、帝国cms、wordpress等,他们都可以对已产生的网页生成纯静态页面,每次更新内容,会再次生成纯静态页面。
另外还建议,页面中的图文进行动静分离处理,把页面用到的图片放到专用存储空间(比较常见的有阿里云OSS ),减少网站服务器的压力,另外也建议动静分离的那一部分也做一下CDN加速。让图片等相对较大的资源才CDN节点获取,提高网站打开速度。
2、缓存技术(Memcache、Redis等)
缓存技术就是另一个解决方案,就是将动态数据存储到缓存文件中,动态网页直接调用 这些文件,而不必再访问数据库。
简单罗列一下redis和memcache的区别
- Redis和Memcache都是将数据存放在内存中,都是内存数据库。不过memcache还可用于缓存其他东西,例如图片、视频等等;
- Redis不仅仅支持简单的k/v类型的数据,同时还提供list,set,hash等数据结构的存储;
- 虚拟内存--Redis当物理内存用完时,可以将一些很久没用到的value 交换到磁盘;
- 过期策略--memcache在set时就指定,例如set key1 0 0 8,即永不过期。Redis可以通过例如expire 设定,例如expire name 10;
- 分布式--设定memcache集群,利用magent做一主多从;redis可以做一主多从。都可以一主一从;
- 存储数据安全--memcache挂掉后,数据没了;redis可以定期保存到磁盘(持久化);
- 灾难恢复--memcache挂掉后,数据不可恢复; redis数据丢失后可以通过aof恢复;
- Redis支持数据的备份,即master-slave模式的数据备份;
- 应用场景不一样:Redis出来作为NoSQL数据库使用外,还能用做消息队列、数据堆栈和数据缓存等;Memcached适合于缓存SQL语句、数据集、用户临时性数据、延迟查询数据和session等。
参考一下开源案例《【图文】wordpress如何开启Memcached缓存来加速网站?》
3、数据库优化
数据库的优化总结为如下三点
1、数据库分表技术
当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,很有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。
可参考《mysql数据库如何分表》
2、数据库读写分离
数据库读写分离的基本原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。
可参考《如何实现数据库读写分离》
3、表建立相应的索引
使用索引可快速访问数据库表中的特定信息。
可参考《mysql建表并创建索引》
对于一些成熟的数据库产品,已经无需自己做分表,不需要自己做读写分离,只要主实例下有只读实例以及开通读写分离功能即可。
比如说 阿里云的RDS
详情参考《RDS是否需要自己做分表、读写分离?》
4、CDN
将源站内容分发至最接近用户的节点,使用户可就近取得所需内容,提高用户访问的响应速度和成功率。解决因分布、带宽、服务器性能带来的访问延迟问题,适用于站点加速、点播、直播等场景。
使用CDN的好处不仅仅是缓存网站静态资源,还可以起到隐藏源IP的作用,这样还可以应对一些小的流量攻击,避免源IP泄露被人攻击。
通常用的CDN就那么几家,这里以阿里云CDN为例:阿里云CDN。
详细参考《阿里云CDN怎么使用》
5、禁止盗链
外部网站的图片或者文件盗链往往会带来大量的负载压力,因此应该严格限制外部对于自身的图片或者文件盗链。
这个操作相对就简单了很多,如果你使用了阿里云的CDN(对象存储OSS),这些CDN/对象存储OSS的控制台里可以一键设置防盗链。
详细可参考官方教程:
《阿里云CDN怎样设置防盗链》
《阿里云OSS怎样设置防盗链》
6、控制大文件的上传下载
大文件的下载会占用很大的流量,并且对于非SCSI硬盘来说,大量文件下载会消耗 CPU,使得网站响应能力下降。因此,尽量不要提供超过2M的大文件下载,如果需要提供,建议将大文件放在专门的存储空间上(对象存储OSS/COS)。
这个方法详细参考:
《如何限制windows系统服务器上传文件的大小》
《如何限制Linux系统服务器上传文件的大小》
友情提示:
在产品的选用上,尽量都选用同一家的产品(要么都用阿里云家的,要么都用其他云家的),部分产品也尽量选同一区域。选同一家是为了,一来是方便管理,二来部分产品不适合两家接入使用。选同一区域的,是为了同一区域可以内网互联,还能节省一些费用。
(原文:流量大的网站 如何处理高并发流量问题)