一例千万级pv高性能高并发网站架构

简介:
+关注继续查看

 受CU管理员的邀请参考“千万级pv高性能高并发网站架构与设计交流探讨帖”主题的交流,发表了一案例与大家分享。
      一个支撑千万级PV的网站是非常考验一个架构是否成熟、健壮(本文不涉及软件架构的层面,有兴趣也可以讨论)。现抛出一个系统层面的架构,不保证是最优的方案,但也许适合你。理由是再优秀的架构都不具备通用性,需要根据每种应用特点针对性来设计。希望起到抛砖引玉的作用,大家多多参与,发表意见。
1324277022_85926f4d.png

(点击放大)


架构说明:
1)架构中直接引入软件名称的模块,是个人推荐使用的,如Haproxy、Hadoop等;
2)关于全局负载均衡,看成本投入情况,可以使用商业的产品,如F5-GTM,开源方案便是自搭智能DNS;
3)本地负载均衡方案,可以考虑F5-LTM或成熟的开源解决方案LVS;
4)代理层为什么推荐大家使用Haproxy?Haproxy是一个非常优秀的反向代理软件,十分高效、稳定。国内top 10的互联网公司都有在使用;
5)缓存层可以使用Squid或Varnish,个人更倾向Varnish。配置灵活、运行稳定,提供非常便利的管理接口。为啥在缓存层前面加一层代理?优点非常多,列举如下:

  • 根据应用配置URI路由规则,集中热点来提高后端缓存的命中率;

  • 轻松划分网站频道、版块,更好对应用进步组织、规划;

  • 对URI进行一般性安全过滤,抵御注入攻击;

  • 弹性调配硬件资源,应对突发事件产生大流量;

  • 可回收宝贵的公网IP资源;


6)应用层开源技术方案非常多且成熟,在此不详细描述;
7)数据库层主流开源解决方案Mysql是首选,主从复制(一主对多从)是目前比较靠谱的模式;
8)关于Nosql,应用场景不多说,可参考“给部门做的Mongodb技术交流PPT”文章,redis、memcached等作为热点数据存储、数据库缓存都非常理想;
9)内网DNS扮演的角色非常重要,一定要消灭code中出现的内网IP地址,很大程度减少因IP变更、服务器故障而修改源码的情况,同时也便于维护;
10)内网LB适用在内部WEB接口、多台数据库Slave、多台Nosql Slave、公共服务等应用的负载均衡,可以使用LVS、Haproxy来实现,可用性要求不高的应用可行直接使用Localhost DNS轮询;
11)hadoop适合海量数据的存储与处理,如做网站日志分析、用户数据挖掘等;
12)管理集群,平台的核心,运维的阵地;
      以上粗略介绍了架构的几个组成部分,如大家有对哪块有疑问或感兴趣都可以展开来讨论,也可以通过weibo与我交流:http://t.qq.com/yorkoliu
















本文转自ljianbing51CTO博客,原文链接:http://blog.51cto.com/ljianbing/1625064 ,如需转载请自行联系原作者


相关实践学习
部署高可用架构
本场景主要介绍如何使用云服务器ECS、负载均衡SLB、云数据库RDS和数据传输服务产品来部署多可用区高可用架构。
负载均衡入门与产品使用指南
负载均衡(Server Load Balancer)是对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
相关文章
|
8月前
百万级PV 千万级PV | 并发 的架构图
百万级PV 千万级PV | 并发 的架构图,生产环境可使用
百万级PV 千万级PV | 并发 的架构图
|
9月前
|
canal 存储 缓存
【架构】千万级购物车系统缓存架构方案
本文主要介绍redis在千万级系统中设计架构方案,包括主架构设计、缓存一致性方案、大value处理方案和redis限流和故障恢复降级
【架构】千万级购物车系统缓存架构方案
|
消息中间件 缓存 负载均衡
百万级访问量—高并发问题的解决历程
代理是一个接收和转发请求的过程。正常情况下,「正向代理」代理的对象是客户端,「反向代理」代理的对象是服务端,它完成这些功能:
|
运维 Kubernetes NoSQL
数万实例数百 TB 数据量,携程 Redis 治理演进之路
携程自 2013 年开始使用 Redis,旧时期为 Memcached 和 Redis 混用状态。由于 Redis 在处理性能,可储存 key 的多样化上有着显著的优势,2017 年开始,Memcached 全部下线,全公司开始大规模使用 Redis。
|
Java Spring 前端开发
《亿级流量网站架构核心技术》| 每日读本书
万众期待 → 十万火急 → 百万含金量 → 千万级博主 → 解秘亿级网站。每日搜罗最具权威专业书籍,更多图书请关注“每日读本书”。
1621 0
|
缓存 NoSQL 应用服务中间件
亿级流量电商系统多级缓存架构
亿级流量电商系统多级缓存架构   Redis基础 数据类型String hash list set zset java操作Redis redis的RDB和AOF两种持久化机制 Redis Transcation Redis高级 redis企业级数据备份 Lua脚本与redis抢红包实战案例.
4575 0
|
监控 算法 测试技术
技术如何秒懂你?阿里百万级QPS资源调度系统揭秘
TPP(Taobao Personalization Platform, 也称阿里推荐平台 ) 平台承接了阿里集团300+重要个性化推荐场景,包括手淘首页猜你喜欢、首图个性化、购物链路等。除了提供应用层面的支持和封装,还肩负着机器分配和维护各场景运行稳定的重任。
8981 1
推荐文章
更多