细说五层网站架构

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
传统型负载均衡 CLB,每月750个小时 15LCU
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
简介:

1.网页缓存层

首先说网页缓存层,比如CDN租凭,其效果比公司自己部署Squid/Varnish要好,它们专业、价格低廉(比如:快网、蓝讯、阿里、腾讯)而且覆盖的城市更多,自己架设Squid/Varnish是次选。

很多朋友喜欢尝试自建CDN,这是一项吃力不讨好的工作,未必能达到预期的目标,系统架构师应该在架设网站初期就规划好,不要等到网站流量及压力巨大时才去规划。事实上,这一层有很多优秀的开源软件都能胜任,比如传统的Squid
Cache
。另外,越来越多的朋友喜欢尝试在自己的网站是用NginxVarnish作为自己的网页缓存。事实上,Nginx已经具备Squid所拥有的Web缓存加速功能。此外,Nginx对多核CPU的利用胜过Squid,现在越来越多的架构师都喜欢将Nginx同时作为负载均衡服务器”Web缓存服务器来使用,大家可以根据自己的情况,来决定究竟使用那种软件作为网站的网页缓存。

2.负载均衡层

我们熟悉的硬件/软件技术有F5LVS/HAProxy,还有Nginx,它们的性能都是非常优异的,现在F5/LVS在全世界范围内应用,而且淘宝现在升级架构,也用了LVS取代了F5

HAProxy可能大家不是特别熟悉,单HAProxy+Keepalived确实在生产环境下表现优异,强大的吞吐能力,稳定性能比之硬件过犹不及,并且淘宝也在大规模地推广使用HAProxy,有兴趣的朋友也可以关注。

再来聊聊Nginx,我已经将Nginx+Keepalived架构用于各种生产环境,经过长期的线上观察,发现Nginx作为负载均衡器/反向代理也很稳定,如果兵发压力过大,我们前面可以用F5/LVS作为最前端的负载均衡,而将Nginx作为七层代理,这样的效果其实也不差,所以说负载层压力不算特别大。

3.Web

Web层压力比较大的网站现在都换成了Nginx作为Web应用服务器,事实上,它的抗并发能力确实超过了预期。我现在维护的一家门户网站,高峰期时某台Nginx应用服务器的并发达到了一万以上,但是Nginx也很稳定地提供服务。在实际的生产环境中,如果我们考虑到后端的数据库服务时,一万兵法应该也算是一个比较大的数值了。

另外,Linux集群有一个优势,就是它的高扩展性,就算网站的并发有一万以上,后端的Web服务是Nginx,我们多加几台Nginx服务器即可。在实际的线上维护时发现,高峰期间,实际上每台Web的并发不算是特别大,所以我们也能通过技术手段对这一层的网站的压力加以克服。

4.文件服务器层

现在大家生产服务器一般是使用如下四种作为自己的文件服务器层:

1、单NFS+备份NFS作为文件服务器,这样做的好处是维护方便,但存在单点故障,需要人手动干预。

2DRBD+HeartBeat+NFS高可用文件服务器,维护方便,也不存在单点故障,单随着访问量的增大,后期一样存在压力过大的情况。

3、分布式文件系统MFSGlustrMFS易用、稳定、对海量小文件很高效,而且新版的MFS解决了MasterServer存在单点故障的问题,国内越来越多的公司在使用MFS。事实上,分布式文件系统是解决文件服务器压力过大的最终途径,但也存在隐患,网站功能越多,摊子越大,机器越多,维护起来越复杂。

4、如果是淘宝和腾讯这种巨量级的公司,可以尝试开发自己的分布式文件系统了。大家可以尝试根据自己网站的情况,来决定究竟选择哪一种如那件作为自己的文件服务器。

5.数据库层

数据库层的压力,我觉得网站的PV和并发上去以后,数据库这块的压力是最大的,CND大型广告网站用的是Oracle
RAC
方案,它保证了数据的搞可用性,当然了价格也是非常昂贵的(如果使用高配置的PC服务器,Oracle一般按照CPU个数收费);那么字啊使用免费的MySQL数据时,面对这种并发压力打的情况,我们应该怎么办?

首先,可以在数据库中假如memcached数据缓存,在实际线上使用时,发现memcached功能强大、性能稳定,在数据流频繁读写,压力过大的情况下,增加一台memcached数据库缓存服务器的效果能超过我们的预期。

数据库的硬件方面可以考虑投入磁盘队列做成RAID10,如果资金充裕,磁盘可以用固定硬盘来代替SAS硬盘,毕竟数据库的压力主要来自磁盘I/O方面。

合理的设计MySQL数据库的架构,事实上,在生产环境下,一主多从、读写分离是靠谱的设计方案,从MySQL的负载均衡推荐大家使用LVS,这是因为当后面的MySQL机器超过十台时,HAProxy在这方面的性能不如LVS

如果网站的业务量过大,可以采用分库的方法,比如将网站的业务量分成WebBBSBlog等几组,每一组均采用主从还够,这样的设计避免了单组数据库压力过大的情况。

另外我们应该还配合公司的MySQL
DBA
和开发人员,在数据库参数优化、SQL语句优化、数据切分上多下功夫,避免数据库成为网站的瓶颈。

后续我会发布如何优化MySQL,从硬件安装方式配置文件优化-SQL优化-status状态优化慢查询优化表优化-MySQL高可用的扩展。

网站架构关注方向小结

1、我们的网站放在IDC机房内,首选考虑的就应该是如何防止DDOS/CC攻击。DDOS攻击虽然没什么技术含量,但真正攻击过来还是很让人烦躁的。在搭建网站或系统时,我们应该尽可能地了解和熟悉各种防火墙的技术指标参数,为客户***价比最好的防火墙方案也是保证整套系统或网站成功的因素之一。

2、业务逻辑设计要合理,尤其是程序代码层的相关设计,如果程序应用架构和业务实现不够优化,一个本来很简单的实现却绕了很多弯路才实现,那么多强的硬件也没有用。

3、也许是受张宴先生的影响,现在越来越多的朋友把注意力放在Nginx上了。其实Apache的抗并发能力并不弱。在生产环境下,如果我们的网站不是广告型网站、门户型网站或游戏型网站,2000并发已经是一个很惊人的数字。另外这个仅仅是一台Apache的并发,一个中等规模的网站,后端至少会有3~4ApacheWeb应用程序,所以,全部加起来我们的网站差不多可以顶住上万的并发,上万的并发量对网站根本没有什么大的影响。当然,如果换作Nginx作为Web应用服务器更没问题了。另外,就算并发量非常大,我们最前端的F5/LVS还是顶得住的,无非是在后端多加几台Web应用服务器。所以说,并发量大不可能成为Web应用服务器的瓶颈。

4DRBD+HeartBeat+NFS文件服务器在初期没什么压力,但随着网站的用户数和流量越来越大,它可能会感觉有些顶不住了,特别是用户频繁访问图片文件时。我们在公司内部也测试郭Google的分布式文件系统,但是一直没敢用于生产环境中,最后还是决定采用Nginx作为中层代理,增加Squid反向代理服务器集群的方法来解决文件服务器的压力问题。另外,如果资金充裕,最前端也应该租售CDN用于网站加速。

5、将Nginx作为中层代理使用是一件性价比非常高的事情。如果担心单点Nginx故障,我们可以设置3台以上的Nginx负载均衡器,而它们的load
balance
可以让F5/LVS来做。Nginx在这层可以利用其强大的正则处理能力很完美地处理客户端对静态文件的访问,比如将htmljpgpngcss等交给后端的Squid/varnish集群处理,冬天的PHP/JSP访问请求交给后端的PHP/Tomcat集群服务器处理,动静分离,最大化地发挥Nginx作为负载均衡器/反向代理的优势。

如果没有硬件的F5
Big-Ip
设备,我们也可以用软件LVS来实现,这样成本会相当低。Nginx则利用其强大的正则功能,并根据URL或客户请求文件的后缀名来做动静分离,或者轮训不同的Squid/Varnish反向代理群组。

6、上线的项目在后期无论怎么优化或架构,最后其压力最大的肯定是MySQL数据库,尤其是那些动态网站。我们在维护时也发现,MySQL数据库在频繁地读写,如何优化MySQL数据库及设计高性能高可用的MySQL数据库架构一致是我们关注和研究的方向,我也希望大家在工作中注意这个问题。

7、系统或网站的构建、运维和调试并不只是一个人的事情,它是整个团队合作努力的结果,需要整个团队的开发人员、系统工程师和DBA及测试人员共同努力,要写出安全、效率高、优美的代码,需要花费开发人员大量的心血。


本文转自 2012hjtwyf 51CTO博客,原文链接:http://blog.51cto.com/hujiangtao/1732406,如需转载请自行联系原作者
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6月前
|
传感器 数据采集 安全
物联网的五层架构分析
物联网五层架构,包括感知层、网络层、数据层、应用层和业务层,扮演着关键的角色。
327 2
|
机器学习/深度学习 人工智能 大数据
从计算机网络五层架构理解工业互联网体系架构
从计算机网络五层架构理解工业互联网体系架构
404 0
从计算机网络五层架构理解工业互联网体系架构
|
Web App开发 关系型数据库 应用服务中间件
|
Web App开发 关系型数据库 应用服务中间件
|
8天前
|
弹性计算 Kubernetes Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中,微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战,引出微服务作为解决方案的优势,并详细阐述了微服务设计的几大核心原则:单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施,并通过一个实际项目案例,展示了从服务拆分到持续集成/持续部署(CI/CD)流程的完整实现路径,为读者提供了宝贵的实践经验和启发。 ####
|
5天前
|
监控 安全 应用服务中间件
微服务架构下的API网关设计策略与实践####
本文深入探讨了在微服务架构下,API网关作为系统统一入口点的设计策略、实现细节及其在实际应用中的最佳实践。不同于传统的摘要概述,本部分将直接以一段精简的代码示例作为引子,展示一个基于NGINX的简单API网关配置片段,随后引出文章的核心内容,旨在通过具体实例激发读者兴趣,快速理解API网关在微服务架构中的关键作用及实现方式。 ```nginx server { listen 80; server_name api.example.com; location / { proxy_pass http://backend_service:5000;
|
7天前
|
缓存 监控 API
探索微服务架构中的API网关模式
随着微服务架构的兴起,API网关成为管理和服务间交互的关键组件。本文通过在线零售公司的案例,探讨了API网关在路由管理、认证授权、限流缓存、日志监控和协议转换等方面的优势,并详细介绍了使用Kong实现API网关的具体步骤。
24 3
下一篇
无影云桌面