AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

nginx+upsync+consul 构建动态nginx配置系统

2017-11-15 2874
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
应用型负载均衡 ALB，每月750个小时 15LCU
网络型负载均衡 NLB，每月750个小时 15LCU
传统型负载均衡 CLB，每月750个小时 15LCU
简介：

参考：

http://www.php230.com/weixin1456193048.html  【upsync模块说明、性能评测】

https://www.jianshu.com/p/76352efc5657

https://www.jianshu.com/p/c3fe55e6a5f2


说明：

动态nginx负载均衡的配置，可以通过Consul+Consul-template方式，但是这种方案有个缺点：每次发现配置变更都需要reload nginx，而reload是有一定损耗的。而且，如果你需要长连接支持的话，那么当reloadnginx时长连接所在worker进程会进行优雅退出，并当该worker进程上的所有连接都释放时，进程才真正退出（表现为worker进程处于worker process is shutting down）。因此，如果能做到不reload就能动态更改upstream，那么就完美了。

目前的开源解决方法有3种：

1、Tengine的Dyups模块

2、微博的Upsync模块+Consul

3、使用OpenResty的balancer_by_lua，而又拍云使用其开源的slardar（Consul + balancer_by_lua）实现动态负载均衡。



这里我们使用的是upsync模块+consul 来实现动态负载均衡。操作笔记如下：


consul的命令很简单，官方文档有详细的样例供参考，这里略过。



实验环境：

3台centos7.3机器

cat /etc/hosts 如下：

192.168.5.71  node71

192.168.5.72  node72

192.168.5.73  node73

 

consul 我们使用3节点都是server角色。如果集群内某个节点宕机的话，集群会自动重新选主的。

nginx-Upsync模块：新浪微博开源的，，它的功能是拉取 consul 的后端 server 的列表，并更新 Nginx 的路由信息。且reload对nginx性能影响很少。


1、安装nginx+ nginx-upsync-module（3台机器上都执行安装）

nginx-upsync-module模块： https://github.com/weibocom/nginx-upsync-module

nginx版本：1.13.8

 

yum install gcc gcc-c++ make libtool zlib zlib-devel openssl openssl-devel pcre pcre-devel -y

 

cd /root/

git clone https://github.com/weibocom/nginx-upsync-module.git

# 建议使用git clone代码编译，刚开始我使用release的tar.gz 编译nginx失败了

 

groupadd nginx

useradd -g nginx -s /sbin/nologin nginx

mkdir -p /var/tmp/nginx/client/

mkdir -p /usr/local/nginx

 

 

tar xf nginx-1.13.8.tar.gz

cd /root/nginx-1.13.8

 

./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --with-http_realip_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --add-module=/root/nginx-upsync-module

 

make && make install

 

echo 'export PATH=/usr/local/nginx/sbin:$PATH' >> /etc/profile

source /etc/profile

 

2、配置nginx虚拟主机

在node1上配置虚拟主机：

cat /usr/local/nginx/conf/nginx.conf 内容如下：

user  nginx;

worker_processes  4;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    tcp_nopush     on;

    keepalive_timeout  65;

    gzip  on;

    server {

        listen       80;

        server_name  192.168.5.71;

        location / {

            root   /usr/share/nginx/html;

            index  index.html index.htm;

        }

    }

}

 

创建网页文件：

echo 'node71' > /usr/share/nginx/html/index.html

 

 

 

在node3上启动虚拟主机：

cat /usr/local/nginx/conf/nginx.conf 内容如下：

user  nginx;

worker_processes  4;

events {

    worker_connections  1024;

}

http {

    include       mime.types;

    default_type  application/octet-stream;

    sendfile        on;

    tcp_nopush     on;

    keepalive_timeout  65;

    gzip  on;

    server {

        listen       80;

        server_name  192.168.5.73;

        location / {

            root   /usr/share/nginx/html;

            index  index.html index.htm;

        }

    }

}

 

创建网页文件：

echo 'node73' > /usr/share/nginx/html/index.html

 

 

 

在node2上配置虚拟主机：

此处的node2作为LB负载均衡+代理服务器使用

cat /usr/local/nginx/conf/nginx.conf 内容如下：

user  nginx;

worker_processes  1;

error_log  logs/error.log  notice;

pid        logs/nginx.pid;

 

events {

    worker_connections  1024;

}

 

http {

    include       mime.types;

    default_type  application/octet-stream;

 

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                      '$status $body_bytes_sent "$http_referer" '

                      '"$http_user_agent" "$http_x_forwarded_for"'

              '$upstream_addr $upstream_status $upstream_response_time $request_time';

 

    access_log  logs/access.log  main;

 

    sendfile        on;

    tcp_nopush     on;

    keepalive_timeout  65;

    gzip  on;

 

    upstream pic_backend {

        # 兜底假数据

        # server 192.168.5.72:82;

 

        # upsync模块会去consul拉取最新的upstream信息并存到本地的文件中

        upsync 192.168.5.72:8500/v1/kv/upstreams/pic_backend upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;

        upsync_dump_path /usr/local/nginx/conf/servers/servers_pic_backend.conf;

    }

 

    # LB对外信息

    server {

        listen 80;

        server_name  192.168.5.72;

        location = / {

        proxy_pass http://pic_backend;

          proxy_set_header  Host  $host;

          proxy_set_header  X-Real-IP  $remote_addr;

          proxy_set_header  X-Forwarded-For  $proxy_add_x_forwarded_for;

          add_header    real $upstream_addr;

        }

 

        location = /upstream_show {

            upstream_show;

        }

 

        location = /upstream_status {

            stub_status on;

            access_log off;

        }

    }

    # 兜底的后端服务器

    server {

        listen       82;

        server_name  192.168.5.72;

        location / {

            root   /usr/share/nginx/html82/;

            index  index.html index.htm;

        }

    }

 

}

 

创建网页文件：

mkdir /usr/share/nginx/html82 -p

echo 'fake data in SLB_72' > /usr/share/nginx/html82/index.html

 

创建upsync_dump_path(consul、upsync存放upstream主机信息使用到这个目录）

mkdir /usr/local/nginx/conf/servers/

 

 

3、安装consul（3台机器上都执行安装）

cd /root/

mkdir /usr/local/consul/

 

unzip consul_1.0.0_linux_amd64.zip

mv consul /usr/local/consul/

mkdir /etc/consul.d

cd /usr/local/consul/

 

echo 'export PATH=/usr/local/consul/:$PATH' >> /etc/profile

source /etc/profile

 

node71上：

/usr/local/consul/consul agent -server -bootstrap-expect 3 -ui -node=node71 -config-dir=/etc/consul.d --data-dir=/etc/consul.d -bind=192.168.5.71 -client 0.0.0.0

 

node72上：

/usr/local/consul/consul agent -server -bootstrap-expect 3 -ui -node=node72 -config-dir=/etc/consul.d --data-dir=/etc/consul.d -bind=192.168.5.72 -client 0.0.0.0 -join 192.168.5.71

意思是把本节点加入到192.168.5.71这个ip的节点中

 

node73上：

/usr/local/consul/consul agent -server -bootstrap-expect 3 -ui -node=node73 -config-dir=/etc/consul.d --data-dir=/etc/consul.d -bind=192.168.5.73 -client 0.0.0.0 -join 192.168.5.71

意思是把本节点加入到192.168.5.71这个ip的节点中

 

 

这样的话，就在3台主机前台启动了consul程序。

 

可以在任一台主机上执行：

consul members 列出当前集群的节点状态

 image.png

consul info  列出当前集群的节点详细信息  （输出信息太多，自己运行时候看去吧）


访问consul自带的web界面

http://192.168.5.71/upstream_show （3个节点都开了webui，因此我们访问任意节点都行）

image.png



 

在任一节点上执行如下命令，即可添加2个key-value信息：

curl -X PUT -d '{"weight":10, "max_fails":2, "fail_timeout":10, "down":0}' http://192.168.5.71:8500/v1/kv/upstreams/pic_backend/192.168.5.71:80

curl -X PUT -d '{"weight":10, "max_fails":2, "fail_timeout":10, "down":0}' http://192.168.5.71:8500/v1/kv/upstreams/pic_backend/192.168.5.73:80

 

在web界面，就可看到如下所示：

image.png



删除的命令是：

curl -X DELETE http://192.168.5.71:8500/v1/kv/upstreams/pic_backend/192.168.5.71:80

curl -X DELETE http://192.168.5.71:8500/v1/kv/upstreams/pic_backend/192.168.5.73:80

 

 

调整后端服务的参数：

curl -X PUT -d '{"weight":10, "max_fails":2, "fail_timeout":10, "down":0}' http://192.168.5.71:8500/v1/kv/upstreams/test/192.168.5.71:80

 


4、测试consul+nginx调度

在node1、node2、node3上都执行 /usr/local/nginx/sbin/nginx 启动nginx服务

 

访问http://192.168.5.72/upstream_show

image.png


访问http://192.168.5.72/upstream_status

image.png

 

刚才我们在第三步的时候，执行了如下2条命令，自动在consul里面加了2行内容。

curl -X PUT -d '{"weight":10, "max_fails":2, "fail_timeout":10, "down":0}' http://192.168.5.71:8500/v1/kv/upstreams/pic_backend/192.168.5.71:80

curl -X PUT -d '{"weight":10, "max_fails":2, "fail_timeout":10, "down":0}' http://192.168.5.71:8500/v1/kv/upstreams/pic_backend/192.168.5.73:80

 

我们node2的nginx在启动的时候，会去nginx.conf里面配置的consul地址去寻找对应的upstream信息。同时会dump一份upstream的配置到/usr/local/nginx/conf/servers目录下。

[root@node72 /usr/local/nginx/conf/servers ]# cat servers_pic_backend.conf

server 192.168.5.73:80 weight=10 max_fails=2 fail_timeout=10s;

server 192.168.5.71:80 weight=10 max_fails=2 fail_timeout=10s;

 

 

我们可以写个curl脚本测试下，如下

for i in {1..100} ;do curl http://192.168.5.72/; done > /root/log

grep -c node71 /root/log ;grep -c node73 /root/log

可以看到curl是轮询请求到后端的node1和node3上去的。

image.png

或者使用for i in {1..100} ;do curl -s -I http://192.168.5.72/|tail -2 |head -1; done

 

如果要下线后端主机进行发布的话，只要把down参数置为1即可，类似如下：

curl -X PUT -d '{"weight":2, "max_fails":2, "fail_timeout":10, "down":1}'  http://192.168.5.71:8500/v1/kv/upstreams/test/192.168.5.73:80

 

如果发布完成并验证后，需要上线，可以再次把down参数置为0：

curl -X PUT -d '{"weight":2, "max_fails":2, "fail_timeout":10, "down":0}'  http://192.168.5.71:8500/v1/kv/upstreams/test/192.168.5.73:80

 

 

如果调整在线调整后端服务的upstream参数：

curl -X PUT -d '{"weight":2, "max_fails":2, "fail_timeout":10, "down":0}'  http://192.168.5.71:8500/v1/kv/upstreams/test/192.168.5.73:80

 

 

 

 

说明：

1、每次去拉取 consul 都会设置连接超时，由于 consul 在无更新的情况下默认会 hang 五分钟，所以响应超时配置时间应大于五分钟。大于五分钟之后，consul 依旧没有返回，便直接做超时处理。

2、由于upsync模块会在pull新数据时候，自动在本地存一份upstream配置的副本。因此即便我们上面的3个consul进程全部宕掉了，nginx服务短时间内也不会受到影响。只要我们的监控完善及时将consul进程启动即可。

 



此外，还可使用nginx +consulconsul-template这种架构来控制nginx的配置

 

具体可以参考：

https://www.jianshu.com/p/9976e874c099

https://www.jianshu.com/p/a4c04a3eeb57?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

https://www.cnblogs.com/MrCandy/p/7152312.html

https://github.com/hashicorp/consul-template 

官方提供的nginx参考模板：https://github.com/hashicorp/consul-template/blob/master/examples/nginx.md










本文转自 lirulei90 51CTO博客，原文链接：http://blog.51cto.com/lee90/2056182，如需转载请自行联系原作者
文章标签：
负载均衡
应用服务中间件
nginx
索引
Web App开发
负载均衡
关键词：
Nginx配置
Nginx consul构建
Nginx consul
Nginx构建
Nginx系统
相关实践学习
SLB负载均衡实践
本场景通过使用阿里云负载均衡 SLB 以及对负载均衡 SLB 后端服务器 ECS 的权重进行修改，快速解决服务器响应速度慢的问题
负载均衡入门与产品使用指南
负载均衡（Server Load Balancer）是对多台云服务器进行流量分发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升应用系统的可用性。 本课程主要介绍负载均衡的相关技术以及阿里云负载均衡产品的使用方法。
余二五
目录
相关文章
蓝易云
|
1月前
|
负载均衡 应用服务中间件 nginx
基于Nginx和Consul构建自动发现的Docker服务架构——非常之详细
通过使用Nginx和Consul构建自动发现的Docker服务架构，可以显著提高服务的可用性、扩展性和管理效率。Consul实现了服务的自动注册与发现，而Nginx则通过动态配置实现了高效的反向代理与负载均衡。这种架构非常适合需要高可用性和弹性扩展的分布式系统。
蓝易云
35 4
蓝易云
|
1月前
|
负载均衡 应用服务中间件 nginx
基于Nginx和Consul构建自动发现的Docker服务架构——非常之详细
通过使用Nginx和Consul构建自动发现的Docker服务架构，可以显著提高服务的可用性、扩展性和管理效率。Consul实现了服务的自动注册与发现，而Nginx则通过动态配置实现了高效的反向代理与负载均衡。这种架构非常适合需要高可用性和弹性扩展的分布式系统。
蓝易云
55 3
Jack_hrx
|
6月前
|
缓存 负载均衡 算法
解读 Nginx：构建高效反向代理和负载均衡的秘密
解读 Nginx：构建高效反向代理和负载均衡的秘密
Jack_hrx
131 2
爱吃龙利鱼
|
2月前
|
Kubernetes 监控 测试技术
k8s学习--基于Ingress-nginx实现灰度发布系统
k8s学习--基于Ingress-nginx实现灰度发布系统
爱吃龙利鱼
131 2
k8s学习--基于Ingress-nginx实现灰度发布系统
qa浪涛
|
2月前
|
监控 应用服务中间件 网络安全
部署Django应用：使用Gunicorn和Nginx构建高效的生产环境
部署Django应用：使用Gunicorn和Nginx构建高效的生产环境
qa浪涛
161 0
1313310884104708
|
4月前
|
前端开发 应用服务中间件 nginx
[译] 面向 React 和 Nginx 的 Docker 多阶段构建
[译] 面向 React 和 Nginx 的 Docker 多阶段构建
1313310884104708
62 0
[译] 面向 React 和 Nginx 的 Docker 多阶段构建
花酒锄作田
|
4月前
|
缓存 应用服务中间件 nginx
[nginx]proxy_cache缓存系统
[nginx]proxy_cache缓存系统
花酒锄作田
100 4
爱你三千遍斯塔克
|
5月前
|
应用服务中间件 nginx
Nginx命令配置到系统环境变量
Nginx命令配置到系统环境变量
爱你三千遍斯塔克
106 5
蓝易云
|
7月前
|
应用服务中间件 nginx
蓝易云 - 编写Dockerfile制作Web应用系统nginx镜像
这是一个基本的例子，你可能需要根据自己的应用进行调整。例如，你可能需要添加更多的配置，或者使用不同的Nginx版本。
蓝易云
92 2
1941623231718325
|
7月前
|
应用服务中间件 网络安全 Apache
构建高性能Web服务器：Nginx vs Apache
【5月更文挑战第16天】Nginx与Apache是两种主流Web服务器，各具优势。Nginx以其轻量级、高并发处理能力和反向代理功能见长，适合大型网站和高并发场景；而Apache以功能丰富、稳定性强闻名，适合企业网站和需要多种Web服务功能的场景。在性能上，Nginx处理高并发更优，Apache则可能在高负载时遭遇瓶颈。在选择时，应根据实际需求权衡。
1941623231718325
264 3