4.6 Nginx 高可用
如果将Web服务器集群当做一个城池,那么负载均衡服务器就相当于城门。如果“城门”关闭了,与外界的通道就断了。如果只有一台Nginx负载服务器,当故障宕机的时候,就会导致整个网站无妨访问。所以我们需要两台以上Nginx来实现故障转移和高可用。
配置高可用
双机热备方案
这种方案是国内企业中最为普遍的一种高可用方案,双机热备其实就是指一台服务器在提供服务,另一台为某服务的备用状态,当一台服务器不可用另外一台就会顶替上去。
keepalived是什么?
Keepalived
软件起初是专为LVS
负载均衡软件设计的,用来管理并监控LVS集群系统中各个服务节点的状态,后来又加入了可以实现高可用的VRRP (Virtual Router Redundancy Protocol ,虚拟路由器冗余协议)
功能。因此,Keepalived
除了能够管理LVS软件外,还可以作为其他服务(例如:Nginx、Haproxy、MySQL等)
的高可用解决方案软件
故障转移机制
Keepalived
高可用服务之间的故障切换转移,是通过VRRP
来实现的。 在 Keepalived
服务正常工作时,主 Master
节点会不断地向备节点发送(多播的方式)心跳消息,用以告诉备Backup
节点自己还活着,当主 Master
节点发生故障时,就无法发送心跳消息,备节点也就因此无法继续检测到来自主 Master
节点的心跳了,于是调用自身的接管程序,接管主Master节点的 IP资源及服务。而当主 Master节点恢复时,备Backup节点又会释放主节点故障时自身接管的IP资源及服务,恢复到原来的备用角色。
实现
- 准备两台安装Nginx和keepaliver(
yum install keepalived -y
)的服务器 - 修改两台服务器上的/etc/keepalived/keepalived.conf
#主机 #检测脚本 vrrp_script chk_http_port { script "/usr/local/src/check_nginx.sh" #心跳执行的脚本,检测nginx是否启动 interval 2 #(检测脚本执行的间隔,单位是秒) weight 2 #权重 } #vrrp 实例定义部分 vrrp_instance VI_1 { state MASTER # 指定keepalived的角色,MASTER为主,BACKUP为备 interface ens33 # 当前进行vrrp通讯的网络接口卡(当前centos的网卡) 用ifconfig查看你具体的网卡 virtual_router_id 66 # 虚拟路由编号,主从要一直 priority 100 # 优先级,数值越大,获取处理请求的优先级越高 advert_int 1 # 检查间隔,默认为1s(vrrp组播周期秒数) #授权访问 authentication { auth_type PASS #设置验证类型和密码,MASTER和BACKUP必须使用相同的密码才能正常通信 auth_pass 1111 } track_script { chk_http_port #(调用检测脚本) } virtual_ipaddress { 192.168.16.150 # 定义虚拟ip(VIP),可多设,每行一个 } } 复制代码
# 备机 #检测脚本 vrrp_script chk_http_port { script "/usr/local/src/check_nginx.sh" #心跳执行的脚本,检测nginx是否启动 interval 2 #(检测脚本执行的间隔) weight 2 #权重 } #vrrp 实例定义部分 vrrp_instance VI_1 { state BACKUP # 指定keepalived的角色,MASTER为主,BACKUP为备 interface ens33 # 当前进行vrrp通讯的网络接口卡(当前centos的网卡) 用ifconfig查看你具体的网卡 virtual_router_id 66 # 虚拟路由编号,主从要一直 priority 99 # 优先级,数值越大,获取处理请求的优先级越高 advert_int 1 # 检查间隔,默认为1s(vrrp组播周期秒数) #授权访问 authentication { auth_type PASS #设置验证类型和密码,MASTER和BACKUP必须使用相同的密码才能正常通信 auth_pass 1111 } track_script { chk_http_port #(调用检测脚本) } virtual_ipaddress { 192.168.16.150 # 定义虚拟ip(VIP),可多设,每行一个 } } 复制代码
新建检测脚本(chmod 775 check_nginx.sh
)
#!/bin/bash #检测nginx是否启动了 A=`ps -C nginx --no-header |wc -l` if [ $A -eq 0 ];then #如果nginx没有启动就启动nginx systemctl start nginx #重启nginx if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then #nginx重启失败,则停掉keepalived服务,进行VIP转移 killall keepalived fi fi 复制代码
- 启动Nginx和keepalived(
systemctl start keepalived.service
) - 模拟Nginx故障(关闭主服务器Nginx),验证,仍可以通过配置的虚拟ip访问,ok
5. Nginx 原理与优化参数配置
Nginx默认采用多进程工作方式,Nginx启动后,会运行一个master进程和多个worker进程。其中master充当整个进程组与用户的交互接口,同时对进程进行监护,管理worker进程来实现重启服务、平滑升级、更换日志文件、配置文件实时生效等功能。worker用来处理基本的网络事件,worker之间是平等的,他们共同竞争来处理来自客户端的请求
master-workers 的机制的好处
- 可以使用nginx-s reload 热部署
- 每个worker是独立的进程,不需要加锁,省掉了锁带来的开销。采用独立的进程,可以让互相之间不会影响,一个进程退出后,其它进程还在工作,服务不会中断,master 进程则很快启动新的 worker 进程。
需要设置多少个 worker
Nginx 同 redis 类似都采用了 io 多路复用机制,每个 worker 都是一个独立的进程,但每个进程里只有一个主线程,通过异步非阻塞的方式来处理请求,即使是千上万个请求也不在话下。每个 worker 的线程可以把一个 cpu 的性能发挥到极致。所以 worker 数和服务器的 cpu 数相等是最为适宜的。设少了会浪费 cpu,设多了会造成 cpu 频繁切换上下文带来的损耗。
#设置 worker 数量。 worker_processes 4 #work 绑定 cpu(4 work 绑定 4cpu)。 worker_cpu_affinity 0001 0010 0100 1000 #work 绑定 cpu (4 work 绑定 8cpu 中的 4 个) 。 worker_cpu_affinity 0000001 00000010 00000100 00001000 复制代码
连接数 worker_connection
这个值是表示每个 worker 进程所能建立连接的最大值,所以,一个 nginx 能建立的最大连接数,应该是 worker_connections * worker_processes。当然,这里说的是最大连接数,对于 HTTP 请 求 本 地 资 源 来 说 , 能 够 支 持 的 最 大 并 发 数 量 是 worker_connections * worker_processes,如果是支持 http1.1 的浏览器每次访问要占两个连接,所以普通的静态访 问最大并发数是: worker_connections * worker_processes /2,而如果是 HTTP 作 为反向代理来说,最大并发数量应该是 worker_connections * worker_processes/4。因为作为反向代理服务器,每个并发会建立与客户端的连接和与后端服 务的连接,会占用两个连接。
Nginx请求处理流程
6. Nginx模块开发
由于Nginx的模块化特性,所以可以支持模块配置,也可以自定义模块,Nginx的模块开发,程序员目前还不需要太深入
Nginx模块分类
Nginx配置选项
解压nginx后的配置操作示例
./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-pcre --with-http_ssl_module 复制代码
选项 | 解释 |
--prefix=<path> | Nginx安装的根目录,所有其他安装路径都要依赖于该选项 |
--sbin- path=<path> | 指定Nginx二进制文件的路径 |
--conf-path=<path> | 指定nginx.conf配置文件的路径 |
--error-log- path=<path> | 指定错误文件的路径 |
--user=name | worker进程运行的用户 |
--group=<group> | worker进程运行的组 |
--with-http_ssl_module | 使用https协议模块。默认情况下该模块没有被构建。前提是openssl与openssl-devel已安装 |
--with-http_image_filter_module | 该模块被用作图像过滤器使用,将图像投递给客户前先进行过滤(需要libgd库) |
--with-http_stub_status_module | 启用这个模块会收集Nginx自身状态信息,常用来做监控 |
--with-mail | 启用mail模块,默认没有被激活 |
--without-http_autoindex_module | 禁用:如果一个目录没有index文件,该模块能收集文件并列出 |
--add-module=<path> | 添加第三方外部模块,每次添加新的模块都要重新编译 |
7. Nginx 面试题
恭喜你顺利来到大猿帅面试阶段,没有夹道欢迎
- Nginx功能,你们项目中用到的Nginx?
反向代理服务器
实现负载均衡
做静态资源服务器
作为http server - Nginx常用命令有哪写?
启动nginx ./sbin/nginx 停止nginx ./sbin/nginx -s stop ./sbin/nginx -s quit 重载配置 ./sbin/nginx -s reload(平滑重启) service nginx reload 重载指定配置文件 ./sbin/nginx -c /usr/local/nginx/conf/nginx.conf 查看nginx版本 ./sbin/nginx -v 检查配置文件是否正确 ./sbin/nginx -t 显示帮助信息 ./sbin/nginx -h - Nginx常用配置?
worker_processes 4; #工作进程数 work_connections 65535; #每个进程的并发能力 error_log /data/nginx/logs/error.log; #错误日志 复制代码
- Nginx是如何实现高并发的?Nginx 采用的是多进程(单线程) & 多路IO复用模型,,异步,非阻塞.一个主进程master,多个工作进程worker,每个工作进程可以处理多个请求master进程主要负责收集、分发请求。每当一个请求过来时,master就拉起一个worker进程负责处理这个请求。同时master进程也负责监控woker的状态,保证高可靠性在nginx中的work进程中,为了应对高并发场景,采取了Reactor模型(也就是I/O多路复用,NIO):
- 每一个worker进程通过I/O多路复用处理多个连接请求;
- 为了减少进程切换(需要系统调用)的性能损耗,一般设置worker进程数量和CPU数量一致。
- **I/O 多路复用模型:**在 I/O 多路复用模型中,最重要的系统调用函数就是 select(其他的还有epoll等),该方法的能够同时监控多个文件描述符的可读可写情况(每一个网络连接其实都对应一个文件描述符),当其中的某些文件描述符可读或者可写时,select 方法就会返回可读以及可写的文件描述符个数。
nginx work进程使用 I/O 多路复用模块同时监听多个 FD(文件描述符),当 accept、read、write 和 close 事件产生时,操作系统就会回调 FD 绑定的事件处理器,这时候work进程再去处理相应事件,而不是阻塞在某个请求连接上等待。这样就可以实现一个进程同时处理多个连接。 - nginx和apache的区别?
轻量级,同样起web 服务,比apache 占用更少的内存及资源 抗并发,nginx 处理请求是异步非阻塞的,而apache 则是阻塞型的,在高并发下nginx 能保持低资源低消耗高性能 高度模块化的设计,编写模块相对简单 最核心的区别在于apache是同步多进程模型,一个连接对应一个进程;nginx是异步的,多个连接(万级别)可以对应一个进程 - nginx 的 upstream支持的负载均衡方式?
- 轮询(默认)
- weight :指定权重
- ip_hash :每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器
- 第三方: fair、url_hash
- Nginx常见的优化配置有哪些?
- 调整worker_processes : 指Nginx要生成的worker数量,最佳实践是每个CPU运行1个工作进程
- 最大化worker_connections :
- 启用Gzip压缩 : 压缩文件大小,减少了客户端http的传输带宽,因此提高了页面加载速度
- 为静态文件启用缓存
- 禁用access_logs : 访问日志记录,它记录每个nginx请求,因此消耗了大量CPU资源,从而降低了nginx性能
参考:
《Nginx核心知识100讲》
《精通Nginx》
《尚硅谷Nginx》