很多平台一旦做大了,平台的流量就会陡增,同时并发访问的流量也会暴增,原本规划的硬件配置就无法满足当下的流量问题。
那么如何处理好高并发的流量问题呢?
小编将这些分为2个方面:架构层面和网站本地项目层面。
一、架构层面
1、硬件升级
假设一台服务器最多能支持每天10万独立IP,如果访问量增大的话,那么必须升级这台服务器的配置才能解决问题,否则怎么优化都不可能彻底解决性能问题。
这对于企业用户来说不是问题,买就是了。
为了避免采购浪费,建议先对服务器做一下压力测试,看看到底能支持多少访问量。
详细参考《
怎么做服务器压力测试?》
建议使用:
阿里云服务器ECS,阿里云的口碑不用说了,最主要的是可以弹性扩展升级。
阿里云哪个节点服务器好?ping一下看看:https://ping.gaomeluo.com/aliyun/
2、负载均衡
它是对多台云服务器进行流量分发的负载均衡服务,让整个服务器群来处理网站的请求。负载均衡支持亿级连接和千万级并发,可轻松应对大流量访问,满足业务需求。
一般有钱的公司,可以购买专门负责负载均衡的硬件,效果肯定会很好。
但是对于大部分公司,会选择廉价有效的方法扩展整个系统的架构,来增加服务器的吞吐量和处理能力,以及承载能力。通常会选择相对成熟的成品架构,比如:
阿里云的负载均衡SLB
详细可参考《
阿里云负载均衡SLB怎么用》
3、服务器集群
服务器集群就是指将很多服务器集中起来一起进行同一种服务,在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度,也可以用多个计算机做备份,从而使得任何一个机器坏了整个系统还是能正常运行。
如果你的企业、平台够大,那么完全可以自己来搞集群。但是对于一遍企业来讲,这种服务器框架耗钱、耗时、耗力。好在现在云服务厂商都提供了集群服务器,比较有名的就是
阿里云集群。这也给企业省去不少人力、时间成本。
详细可参考《
如何搭建阿里云集群服务器》
4、分布式结构
分布式结构就是将一个完整的系统,按照业务功能,拆分成一个个独立的子系统,在分布式结构中,每个子系统就被称为“服务”.这些子系统能够独立运行在web容器中,它们之间通过RPC方式通.
好处就是系统之间的耦合度大大降低,可以独立开发、独立部署、独立测试,系统与系统之间的边界非常明确,排错也变得相当容易,开发效率大大提升。
提示一下:
负载均衡:是一种优化手段,目的是为了让集群中的每台机器的负载保持均衡,这样就不会出现集群中某台机器挂了的情况;
集群:多台机器做相同的业务,对外如一台机器在做事情一样,集群中任意一台机器挂了没有影响,因为其他机器还在工作;
分布式:一个业务在不同的物理点上做,比如web服务器、应用服务器、数据库服务器,这三个节点分开部署在不同的机器上,共同完成一个业务;分布式的特点是,每个节点都不能挂,否则这个业务就不能完成了;当然,我们可以给分布式中的每个节点都做集群处理,这样可以降低分布式系统的单节点故障;
所以,针对自己业务量大小,对上述的负载均衡、服务器集群、分布式结构,任意选用方案。
二、网站本地项目层面
1、页面静态化
前台实现完全的静态化最好,可以完全不用访问数据库。这样服务器的压力就减轻了不少。
这点我们可以借鉴一些比较成熟的框架方案,比如说dedecms、帝国cms、wordpress等,他们都可以对已产生的网页生成纯静态页面,每次更新内容,会再次生成纯静态页面。
另外还建议,页面中的图文进行动静分离处理,把页面用到的图片放到专用存储空间(比较常见的有
阿里云OSS ),减少网站服务器的压力,另外也建议动静分离的那一部分也做一下CDN加速。让图片等相对较大的资源才CDN节点获取,提高网站打开速度。
详细可参考《
【图文】wordpress站如何用阿里云OSS做动静分离?》
2、缓存技术(Memcache、Redis等)
缓存技术就是另一个解决方案,就是将动态数据存储到缓存文件中,动态网页直接调用 这些文件,而不必再访问数据库。
简单罗列一下redis和memcache的区别
- Redis和Memcache都是将数据存放在内存中,都是内存数据库。不过memcache还可用于缓存其他东西,例如图片、视频等等;
- Redis不仅仅支持简单的k/v类型的数据,同时还提供list,set,hash等数据结构的存储;
- 虚拟内存--Redis当物理内存用完时,可以将一些很久没用到的value 交换到磁盘;
- 过期策略--memcache在set时就指定,例如set key1 0 0 8,即永不过期。Redis可以通过例如expire 设定,例如expire name 10;
- 分布式--设定memcache集群,利用magent做一主多从;redis可以做一主多从。都可以一主一从;
- 存储数据安全--memcache挂掉后,数据没了;redis可以定期保存到磁盘(持久化);
- 灾难恢复--memcache挂掉后,数据不可恢复; redis数据丢失后可以通过aof恢复;
- Redis支持数据的备份,即master-slave模式的数据备份;
- 应用场景不一样:Redis出来作为NoSQL数据库使用外,还能用做消息队列、数据堆栈和数据缓存等;Memcached适合于缓存SQL语句、数据集、用户临时性数据、延迟查询数据和session等。
参考一下开源案例《
【图文】wordpress如何开启Memcached缓存来加速网站?》
3、数据库优化
数据库的优化总结为如下三点
1、数据库分表技术当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,很有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。
可参考《
mysql数据库如何分表》
2、数据库读写分离数据库读写分离的基本原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。
可参考《
如何实现数据库读写分离》
3、表建立相应的索引使用索引可快速访问数据库表中的特定信息。
可参考《
mysql建表并创建索引》
对于一些成熟的数据库产品,已经无需自己做分表,不需要自己做读写分离,只要主实例下有只读实例以及开通读写分离功能即可。
比如说
阿里云的RDS详情参考《
RDS是否需要自己做分表、读写分离?》
4、CDN
将源站内容分发至最接近用户的节点,使用户可就近取得所需内容,提高用户访问的响应速度和成功率。解决因分布、带宽、服务器性能带来的访问延迟问题,适用于站点加速、点播、直播等场景。
使用CDN的好处不仅仅是缓存网站静态资源,还可以起到隐藏源IP的作用,这样还可以应对一些小的流量攻击,避免源IP泄露被人攻击。
通常用的CDN就那么几家,这里以阿里云CDN为例:
阿里云CDN。
详细参考《
阿里云CDN怎么使用》
5、禁止盗链
外部网站的图片或者文件盗链往往会带来大量的负载压力,因此应该严格限制外部对于自身的图片或者文件盗链。
这个操作相对就简单了很多,如果你使用了阿里云的CDN(对象存储OSS),这些CDN/对象存储OSS的控制台里可以一键设置防盗链。
详细可参考官方教程:
《
阿里云CDN怎样设置防盗链》《
阿里云OSS怎样设置防盗链》
6、控制大文件的上传下载
大文件的下载会占用很大的流量,并且对于非SCSI硬盘来说,大量文件下载会消耗 CPU,使得网站响应能力下降。因此,尽量不要提供超过2M的大文件下载,如果需要提供,建议将大文件放在专门的存储空间上(对象存储OSS/COS)。
这个方法详细参考:《
如何限制windows系统服务器上传文件的大小》《
如何限制Linux系统服务器上传文件的大小》
友情提示:
在产品的选用上,尽量都选用同一家的产品(要么都用阿里云家的,要么都用其他云家的),部分产品也尽量选同一区域。选同一家是为了,一来是方便管理,二来部分产品不适合两家接入使用。选同一区域的,是为了同一区域可以内网互联,还能节省一些费用。(原文:
流量大的网站 如何处理高并发流量问题)