AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

nginx+keeplived 集群高可用

2017-11-16 1183
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

一、检测系统信息

Host A

root@master:~# cat /etc/issue
Ubuntu 12.04.1 LTS \n \l
root@master:~# uname  -a
Linux master 3.2.0-29-generic #46-Ubuntu SMP Fri Jul 27 17:03:23 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux
root@master:~# ifconfig 
eth0      Link encap:以太网  硬件地址 00:0c:29:8f:04:ca  
          inet 地址:192.168.1.186  广播:192.168.1.255  掩码:255.255.255.0
          inet6 地址: fe80::20c:29ff:fe8f:4ca/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  跃点数:1
          接收数据包:93215 错误:0 丢弃:0 过载:0 帧数:0
          发送数据包:3718 错误:0 丢弃:0 过载:0 载波:0
          碰撞:0 发送队列长度:1000 
          接收字节:31482582 (31.4 MB)  发送字节:412234 (412.2 KB)

lo        Link encap:本地环回  
          inet 地址:127.0.0.1  掩码:255.0.0.0
          inet6 地址: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  跃点数:1
          接收数据包:0 错误:0 丢弃:0 过载:0 帧数:0
          发送数据包:0 错误:0 丢弃:0 过载:0 载波:0
          碰撞:0 发送队列长度:0 
          接收字节:0 (0.0 B)  发送字节:0 (0.0 B)
root@master:~# hostname 
master

Host B

root@slave:~# cat /etc/issue
Ubuntu 12.04.1 LTS \n \l

root@slave:~# uname  -a
Linux slave 3.2.0-29-generic #46-Ubuntu SMP Fri Jul 27 17:03:23 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux
root@slave:~# ifconfig 
eth0      Link encap:以太网  硬件地址 00:0c:29:02:d9:dd  
          inet 地址:192.168.1.188  广播:192.168.1.255  掩码:255.255.255.0
          inet6 地址: fe80::20c:29ff:fe02:d9dd/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  跃点数:1
          接收数据包:96437 错误:0 丢弃:0 过载:0 帧数:0
          发送数据包:3450 错误:0 丢弃:0 过载:0 载波:0
          碰撞:0 发送队列长度:1000 
          接收字节:32545367 (32.5 MB)  发送字节:383043 (383.0 KB)

lo        Link encap:本地环回  
          inet 地址:127.0.0.1  掩码:255.0.0.0
          inet6 地址: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  跃点数:1
          接收数据包:0 错误:0 丢弃:0 过载:0 帧数:0
          发送数据包:0 错误:0 丢弃:0 过载:0 载波:0
          碰撞:0 发送队列长度:0 
          接收字节:0 (0.0 B)  发送字节:0 (0.0 B)

root@slave:~# hostname 
slave

 小编：以下操作完全针对上述环境，仅供参考

二、安装nginx

    关于如安装最新版本的nginx我这不再阐述查看本博客ubuntu安装最新稳定版nginx博文

三、配置nginx

master主机配置

    由于本次安装是非生产环境，so对于nginx不进行优化

root@master:/etc/nginx/conf.d# mv default.conf default.conf.sav 
root@master:/etc/nginx/conf.d# cat default.conf
upstream keep {
        server 192.168.1.193:8888  weight=20 max_fails=2 fail_timeout=30s;
        ip_hash;
                 }
server {
    listen       80;
    server_name  localhost;

location / {
        proxy_pass      http://keep;
        proxy_set_header HOST   $host;
        proxy_set_header X-Real-IP      $remote_addr;
        proxy_set_header X-Forwarded-FOR $proxy_add_x_forwarded_for;
                }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }

}

测试183的80端口是否能访问到193的8888端口

                        

wKioL1Plj2PSmMrJAAAiwK7kAPM785.jpg

slave主机配置

    由于本次安装是非生产环境，so对于nginx不进行优化

root@slave:/etc/nginx/conf.d# mv default.conf default.conf.sav

root@slave:/etc/nginx/conf.d# cp default.conf.sav default.conf

root@slave:/etc/nginx/conf.d# cat default.conf
upstream keep {
        server 192.168.1.199:8888  weight=20 max_fails=2 fail_timeout=30s;
        ip_hash;
                 }
server {
    listen       80;
    server_name  localhost;


        root   /usr/share/nginx/html;
        index  index.html index.htm;
location / {
        proxy_pass      http://keep;
        proxy_set_header HOST   $host;
        proxy_set_header X-Real-IP      $remote_addr;
        proxy_set_header X-Forwarded-FOR $proxy_add_x_forwarded_for;
                }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }

    error_page   500 502 503 504  /50x.html;
}
root@slave:/etc/nginx/conf.d# service  nginx restart

测试188的80端口是否能访问到199的8888端口

   

wKioL1Plk7Wxf3p8AAAjQR3AFb0427.jpg

四、安装ipvsadm

 root@master:~# apt-get install ipvsadm  安装ipvsadmin模块

安装最后报警提示：ipvsadm is not configured to run

    update-rc.d: warning: ipvsadm start runlevel arguments (2 3 4 5) do not match LSB  Default-Start values (2 3 5)
    * ipvsadm is not configured to run. Please run dpkg-reconfigure ipvsadm

解决办法：

    运行：dpkg-reconfigure ipvsadm进行配置ipvsadm

第一个提示：是否把ipvs加如开机加载当中 选择yes

第二个提示：本机是master还是backup，如果是mastr就选择master反之

第三个提示：选择要生成的vip是绑定到那个物理网卡上

重启ipvsadm成功

wKiom1PllEDiZOVZAAEJX8nJQUk833.jpg

五、安装keeplived模块

master 安装keeplived

root@master:~# apt-get install keepalived

手动修改配置文件

root@master:/etc/keepalived# cat /etc/keepalived/keepalived.conf 
 global_defs {
#定义接收邮箱
   notification_email {
       root@localhost
   }
#定义发送邮箱(可随意,即便不存在也可以)
   notification_email_from admin@localhost
#定义邮件发送服务器
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
#监控脚本配置段
#为keepalived定义服务检测脚本,定义关键字就是vrrp_script
vrrp_script chk_keepalived_down {
#如果存在down文件,则返回1(表示keepalived服务失效),否则返回0(表示服务没有失效)
    script "[ -e /etc/keepalived/down ] && exit 1 || exit 0"
#检测间隔1秒
    interval 1
#如果失效,权重减2
    weight -2
}
#提供检测nginx的高可用脚本
vrrp_script chk_nginx {
#检测nginx是否存在,如果存在返回0,如果不存在返回1
    script "killall -0 nginx"
#检测间隔时间
    interval1 2
#如果失败,权重减2
    weight -2
#失败检测次数
    fall 2
#成功检测次数
    rise 1
}
#VRRP配置段
#定义vrrp实例VI_1(即一个虚拟路由器)，也同时定义vrrp的检测脚本
vrrp_instance VI_1 {
#若权重高,则定义此实例为主(主从区别),从为BACKUP
    state MASTER
#定义VIP绑定接口
    interface eth0
 #发送多播包的地址,心跳信息,若不指定,使用上个选项的接口,建议使用内部接口IP
        mcast_src_ip 192.168.1.186
#定义vrrp虚拟路由唯一标识,即确定vmac
    virtual_router_id 51
#初始权重(主从区别),从需要比此数据小
    priority 100
#通告
    advert_int 1
#认证机制,防止未知设备,成为节点
    authentication {
#认证类型:密码
        auth_type PASS
#认证密钥随机字符串
        auth_pass 1111
    }
#定义vip
    virtual_ipaddress {
        192.168.1.165
    }
#追踪脚本,调用检查脚本
    track_script {
    chk_keepalived_down
    chk_nginx
    chk_nginx
    }
}

启动keeplived服务查看vip是否生成，ping vip看是否ping通

root@master:/etc/keepalived# ip add sho
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:8f:04:ca brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.186/24 brd 192.168.1.255 scope global eth0
    inet 192.168.1.165/32 scope global eth0
    inet6 fe80::20c:29ff:fe8f:4ca/64 scope link 
       valid_lft forever preferred_lft forever

wKioL1Plm_PimCpIAAQPhI3386g659.jpg

backup 安装keeplived

root@slave:/etc/nginx/conf.d#  apt-get install ipvsadm

root@slave:/etc/nginx/conf.d# dpkg-reconfigure ipvsadm

root@slave:/etc/nginx/conf.d# service ipvsadm restart

root@slave:/etc/nginx/conf.d# apt-get install keepalived

root@slave:/etc/nginx/conf.d# cat /etc/keepalived/keepalived.conf 
global_defs {
#定义接收邮箱
   notification_email {
       root@localhost
   }
#定义发送邮箱(可随意,即便不存在也可以)
   notification_email_from admin@localhost
#定义邮件发送服务器
   smtp_server 127.0.0.1 
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
#监控脚本配置段
#为keepalived定义服务检测脚本,定义关键字就是vrrp_script
vrrp_script chk_keepalived_down {
#如果存在down文件,则返回1(表示keepalived服务失效),否则返回0(表示服务没有失效)
    script "[ -e /etc/keepalived/down ] && exit 1 || exit 0"
#检测间隔1秒
    interval 1
#如果失效,权重减2
    weight -2
}
#提供检测nginx的高可用脚本
vrrp_script chk_nginx {
#检测nginx是否存在,如果存在返回0,如果不存在返回1
    script "killall -0 nginx"
#检测间隔时间
    interval1 2
#如果失败,权重减2
    weight -2
#失败检测次数
    fall 2
#成功检测次数
    rise 1
}
#VRRP配置段
#定义vrrp实例VI_1(即一个虚拟路由器)，也同时定义vrrp的检测脚本
vrrp_instance VI_1 {
#若权重高,则定义此实例为主(主从区别),从为BACKUP
    state BACKUP
#定义VIP绑定接口
    interface eth0
 #发送多播包的地址,心跳信息,若不指定,使用上个选项的接口,建议使用内部接口IP
        mcast_src_ip 192.168.1.188
#定义vrrp虚拟路由唯一标识,即确定vmac
    virtual_router_id 51
#初始权重(主从区别),从需要比此数据小
    priority 99
#通告
    advert_int 1
#认证机制,防止未知设备,成为节点
    authentication {
#认证类型:密码
        auth_type PASS
#认证密钥随机字符串
        auth_pass 1111
    }
#定义vip
    virtual_ipaddress {
        192.168.1.165
    }
#追踪脚本,调用检查脚本
    track_script {
    chk_keepalived_down
    chk_nginx
    chk_nginx
    }
}

root@slave:/etc/nginx/conf.d# service  keepalived start

root@slave:/etc/nginx/conf.d# ip add show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:02:d9:dd brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.188/24 brd 192.168.1.255 scope global eth0
    inet6 fe80::20c:29ff:fe02:d9dd/64 scope link 
       valid_lft forever preferred_lft forever

当slave启动后我们发现并没有vip因为master并没有down手动把master的keeplived stop 查看vip

root@master:/etc/keepalived# service keepalived stop

root@slave:/etc/nginx/conf.d# ip add show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN 
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:02:d9:dd brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.188/24 brd 192.168.1.255 scope global eth0
    inet 192.168.1.165/32 scope global eth0
    inet6 fe80::20c:29ff:fe02:d9dd/64 scope link 
       valid_lft forever preferred_lft forever

六、使用web测试效果

把master和slave的keeplived服务全部启动 使用web访问VIP

wKiom1PlnY6z4CiRAAAitFSOW3k937.jpg

停掉master后 使用web访问VIP


wKioL1PlnvKDg4U-AAAnj_Loigo751.jpg


再次把master启动 使用web访问VIP

wKiom1Plnhuh88tuAABFuWFtfgk863.jpg

上面测试的只是假设keeplived服务器down 博友们可以测试假设nginx down测试效果

我已经测试没问题，这里就不在啰嗦了










本文转自 xinsir999 51CTO博客，原文链接：http://blog.51cto.com/xinsir/1537866，如需转载请自行联系原作者
文章标签：
应用服务中间件
nginx
测试技术
Web App开发
Linux
关键词：
Nginx集群
Nginx高可用
余二五
目录
相关文章
东风微鸣技术博客
|
7月前
|
负载均衡 应用服务中间件 Linux
高可用系列文章之三 - NGINX 高可用实施方案
高可用系列文章之三 - NGINX 高可用实施方案
东风微鸣技术博客
246 0
pbeskoyq7ffm4
|
4月前
|
Java 应用服务中间件 Shell
Nginx+Keepalived+Tomcat 实现Web高可用集群
Nginx+Keepalived+Tomcat 实现Web高可用集群
pbeskoyq7ffm4
130 0
1288912195458132
|
4月前
|
负载均衡 前端开发 应用服务中间件
FastDFS+Nginx+fastdfs-nginx-module集群搭建
FastDFS+Nginx+fastdfs-nginx-module集群搭建
1288912195458132
48 2
蓝易云
|
4月前
|
运维 负载均衡 监控
Nginx加Keepalived实现高可用
使用Nginx和Keepalived来实现高可用性的方案，对于确保关键服务的稳定性和可靠性来说是非常有效的。此配置涉及多个步骤，包括各个服务的安装、设置及测试，目标是在主服务器故障时能无缝切换，以确保服务的持续可用。正确的配置和充分的测试是实现高可用性的保证，这也要求管理员对这些工具和它们背后的原理有深入的了解。
蓝易云
78 1
VipSoft
|
4月前
|
应用服务中间件 Nacos 数据库
Nacos 1.2.1 集群搭建(三） Nginx 配置 集群
Nacos 1.2.1 集群搭建(三） Nginx 配置 集群
VipSoft
66 1
蓝易云
|
4月前
|
物联网 应用服务中间件 Linux
CentOS7.9 Nginx+EMQX集群组建MQTTS平台
通过以上步骤，您已成功搭建了一个基于CentOS 7.9、Nginx和EMQX的MQTTS平台。这个平台既能保证数据传输的安全性，又能利用Nginx的负载均衡能力和EMQX的高性能、高并发处理能力，实现稳定高效的消息服务。在部署和配置过程中，务必注意证书、域名以及EMQX配置的正确性，确保系统安全和稳定运行。此外，定期更新软件和系统，以及监控系统性能，也是保证MQTTS平台长期稳定运行的重要环节。
蓝易云
120 4
蓝易云
|
4月前
|
物联网 应用服务中间件 Linux
CentOS7.9 Nginx+EMQX集群组建MQTTS平台
通过以上步骤，您已成功搭建了一个基于CentOS 7.9、Nginx和EMQX的MQTTS平台。这个平台既能保证数据传输的安全性，又能利用Nginx的负载均衡能力和EMQX的高性能、高并发处理能力，实现稳定高效的消息服务。在部署和配置过程中，务必注意证书、域名以及EMQX配置的正确性，确保系统安全和稳定运行。此外，定期更新软件和系统，以及监控系统性能，也是保证MQTTS平台长期稳定运行的重要环节。
蓝易云
140 3
竹子爱熊猫
|
5月前
|
存储 缓存 前端开发
（三）Nginx一网打尽：动静分离、压缩、缓存、黑白名单、跨域、高可用、性能优化...想要的这都有！
早期的业务都是基于单体节点部署，由于前期访问流量不大，因此单体结构也可满足需求，但随着业务增长，流量也越来越大，那么最终单台服务器受到的访问压力也会逐步增高。时间一长，单台服务器性能无法跟上业务增长，就会造成线上频繁宕机的现象发生，最终导致系统瘫痪无法继续处理用户的请求。
竹子爱熊猫
165 1
蓝易云
|
4月前
|
物联网 应用服务中间件 Linux
CentOS7.9 Nginx+EMQX集群组建MQTTS平台
通过以上步骤，您已成功搭建了一个基于CentOS 7.9、Nginx和EMQX的MQTTS平台。这个平台既能保证数据传输的安全性，又能利用Nginx的负载均衡能力和EMQX的高性能、高并发处理能力，实现稳定高效的消息服务。在部署和配置过程中，务必注意证书、域名以及EMQX配置的正确性，确保系统安全和稳定运行。此外，定期更新软件和系统，以及监控系统性能，也是保证MQTTS平台长期稳定运行的重要环节。
蓝易云
98 0
玉米侠爱吃玉米
|
7月前
|
监控 负载均衡 应用服务中间件
Keepalive 解决nginx 的高可用问题
Keepalive 解决nginx 的高可用问题
玉米侠爱吃玉米
69 1

热门文章

最新文章

  • 1
    如何优雅打印nginx header和body
  • 2
    Nginx报错403 forbidden几个解决方法
  • 3
    Nginx的启动、停止与重启
  • 4
    nagios监控nginx status
  • 5
    nginx HTTP Upstream模块
  • 6
    nginx禁止ip访问web
  • 7
    Nginx使用指南(一)
  • 8
    CentOS 7 - 安装Nginx
  • 9
    nginx hello world模块编译运行的问题
  • 10
    nginx 的限制连接模块limit_zone与limit_req_zone
  • 1
    一文读懂：Nginx 和Gateway
    645
  • 2
    nginx配置集群轮训策略
    674
  • 3
    Nginx笔记
    52
  • 4
    Heartbeat+Nginx实现高可用集群
    91
  • 5
    一文读懂HTTPS⭐揭秘加密传输背后的原理与Nginx配置攻略
    348
  • 6
    docker安装nginx
    83
  • 7
    Docker中报错 Error response from daemon: Conflict. The container name “/nginx01“ is already in use
    333
  • 8
    nginx 302 301 设置 url 转跳 nginx 资源重定向 nginx tcp 和 http 转发
    217
  • 9
    Nginx的referer参数的用法和原理
    889
  • 10
    nginx(1.13.7)首次安装出现：【make： *** 没有规则可以创建“default”需要的目标“build” 问题】解决措施
    660

    • 相关课程

    更多
  • Nginx企业级Web服务实战
  • Linux Web服务器Nginx搭建与配置
  • 企业集群平台架构设计与实现：lvs/haproxy/keepalived
  • LVS负载均衡实战

    • 相关电子书

    更多
  • 《Nginx 代理系统常用手册》
  • CentOS Nginx PHP JAVA 多语言镜像使用手
  • CentOS Nginx PHP JAVA多语言镜像使用手册

    • 相关实验场景

    更多
  • 通过Helm CLI部署wordpress到ACK集群
  • 日志服务之使用Nginx模式采集日志
    • 下一篇
    阿里云无影云电脑免费试用，最长可试用3个月