在上一章《Nginx系列教程(11) - HTTP动态负载均衡(一)》我们了解到了负载均衡按静态和动态分为三种:
- Consul+Consul-template 每次发现配置更改需要raload nginx,重启Nginx。
- Consul+OpenResty 实现无需raload动态负载均衡
- Consul+upsync+Nginx 实现无需raload动态负载均衡
并介绍了常用的服务注册于发现框架,并以Consul做了简单的安装与使用介绍。
动态负载均衡示意图如下:
本文我们主要来讲解三方应用nginx-upsync-module
来实现动态负载均衡。
注意:如果按照本文操作,必须把之前Nginx的环境清除,重新安装 ! Nginx版本必须1.9以上。
1.nginx-upsync-module简介
Upsync是新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul后端server的列表,并动态更新Nginx的路由信息。此模块不依赖于任何第三方模块。Consul作为Nginx的DB,利用Consul的KV服务,每个Nginx Work进程独立的去拉取各个upstream的配置,并更新各自的路由。
2.nginx-upsync-module安装
2.1 下载
1.下载Nginx (作用:实现反向代理、负载负载库)
wget http://nginx.org/download/nginx-1.9.10.tar.gz
2.下载Consul (作用:对动态负载均衡均配置实现注册)
wget https://releases.hashicorp.com/consul/0.7.1/consul_0.7.1_linux_amd64.zip
3.下载nginx-upsync-module (作用:nginx动态获取最新upstream信息)
wget https://github.com/weibocom/nginx-upsync-module/archive/master.zip
2.2 安装(按步骤执行)
2.2.1 步骤一:安装nginx-upsync-module:
下载后,压缩包的名字叫master.zip
unzip master.zip
解压完成后会在当前目录生成一个文件夹:nginx-upsync-module-master
,下面安装Nginx的时候会用到这个目录。
2.2.2 步骤二:安装Nginx:
首先解压:
tar -zxvf nginx-1.9.10.tar.gz
配置Nginx:
groupadd nginx useradd -g nginx -s /sbin/nologin nginx mkdir -p /var/tmp/nginx/client/ mkdir -p /usr/local/nginx
编译Nginx:(注意最后--add-module=../nginx-upsync-module-master
,配的路径便是nginx-upsync-module解压的目录路径)
cd nginx-1.9.10 ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --with-http_realip_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --add-module=../nginx-upsync-module-master make && make install
编译如果报错:./configure: error: SSL modules require the OpenSSL library.
解决办法:
yum -y install openssl openssl-devel
2.安装Consul:
unzip master.zip unzip consul_0.7.1_linux_amd64.zip
如果解压出现该错误:-bash: unzip
: 未找到命令,解决办法:
yum -y install unzip
2.3 配置
2.3.1 Upstream动态配置
##动态去consul 获取注册的真实反向代理地址 upstream xxx{ server 127.0.0.1:11111; upsync 192.168.162.130:8500/v1/kv/upstreams/xxx upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off; upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf; } server { listen 80; server_name localhost; location / { proxy_pass http://xxx; index index.html index.htm; } }
- upsync指令指定从consul哪个路径拉取上游服务器配置;
- upsync_timeout配置从consul拉取上游服务器配置的超时时间;
- upsync_interval配置从consul拉取上游服务器配置的间隔时间;
- upsync_type指定使用consul配置服务器;
- strong_dependency配置nginx在启动时是否强制依赖配置服务器,如果配置为on,则拉取配置失败时nginx启动同样失败。
- upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置,这样即使consul服务器出问题了,本地还有一个备份。
注意:替换 consul 注册中心地址
2.3.2 创建upsync_dump_path
mkdir /usr/local/nginx/conf/servers/
upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置,这样即使consul服务器出问题了,本地还有一个备份。
2.4 启动
2.4.1 启动Consul
首先关闭防火墙,我的linux Ip地址192.168.162.130:
./consul agent -dev -ui -node=consul-dev -client=192.168.162.130
2.4.2 启动Nginx
./nginx
运行成功!
2.5 测试
两台tomcat服务器,端口分别是8081和8082,下面通过HTTP PUT的方式注册到Console Server。Nginx服务会检测到Upstream有改变,便会自动写入上游服务器列表。下面是注册的两种方式:
1. 使用linux命令方式发送put请求:
curl -X PUT http://192.168.162.130:8500/v1/kv/upstreams/xxx/192.168.162.1:8081 curl -X PUThttp://192.168.162.130:8500/v1/kv/upstreams/xxx/192.168.162.1:8082
或使用postmen 发送put请求:
http://192.168.162.130:8500/v1/kv/upstreams/xxx/192.168.162.1:8081 http://192.168.162.130:8500/v1/kv/upstreams/xxx/192.168.162.1:8082
postman请求如下:
两个服务已经注册上了
2.启动两台tomcat (8081和8082),如果不知道怎么启动多个tomcat,可以参考文章:《Linux配置多个Tomcat同时运行以及tomcat 的端口介绍》
/usr/local/tomcat8081/bin/startup.sh /usr/local/tomcat8082/bin/startup.sh
3.浏览器输入http://192.168.162.130/
刷新:
会发下8081和8082 tomat会轮询访问。
4.如果想让8081的权重大一些,比如要8081访问3次,8082才访问1次,如何设置呢?
答:可以在Consul控制台设置,先贴出标准格式:
{"weight":3, "max_fails":2, "fail_timeout":10, "down":0}
设置8081权重为3,点击UPDATE:
设置8082权重为1,点击UPDATE:
连续刷新页面,我们会发下tomcat8081出现3次,tomcat8082出现1次,轮流显现。
总结