Haproxy是目前比较流行的一种群集调度工具，同类群集调度工具有很多，如LVS和Nginx。相比较而言，LVS性能最好，但是搭建相对复杂；Nginx的upstream模块支持群集功能，但是对群集节点健康检查功能不强，性能没有Haproxy好。Haproxy官方网站是http://www.haproxy.org/。
案例前置知识点
- HTTP请求 请求方式 GET方式 POST方式 返回状态码 正常的状态码为2××、3×× 异常的状态码为4××、5××
- 负载均衡常用调度算法
RR（Round Robin）：轮询调度 LC（Least Connections）：最小连接数 SH（Source Hashing）：基于来源访问调度
案例环境
实验目标：使用haproxy搭建web群集，实现负载均衡和高可用，使用keepalived+haproxy实现双机热备和负载均衡。
案例准备：根据下图配置IP地址，漂移地址为192.168.1.100，关闭防火墙、selinux、搭建yum仓库。
搭建Nginx1
1. [root@localhost ~]# yum -y install pcre-devel zlib-devel 2. [root@localhost ~]# useradd -M -s /sbin/nologin nginx 3. [root@localhost ~]# eject 4. [root@localhost ~]# mount /dev/cdrom /media 5. mount: /dev/sr0 is write-protected, mounting read-only 6. [root@localhost ~]# tar zxf /media/nginx-1.12.0.tar.gz -C /usr/src 7. [root@localhost ~]# cd /usr/src/nginx-1.12.0/ 8. [root@localhost nginx-1.12.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx 9. [root@localhost nginx-1.12.0]# make && make install
安装后的默认信息如下。
默认安装目录：/usr/local/nginx
默认日志：/usr/local/nginx/logs
监听端口：80
默认web目录：/usr/local/nginx/html
1. [root@localhost nginx-1.12.0]# cd /usr/local/nginx/html/ 2. [root@localhost html]# echo 111111 > test.html //建立测试页面 3. [root@localhost html]# /usr/local/nginx/sbin/nginx //启动Nginx 4. [root@localhost html]# netstat -anpt | grep nginx 5. tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 6762/nginx: master
安装完成后，客户端访问http://192.168.1.20/test.html测试。
搭建Nginx2
编译安装的步骤与Nginx1相同，不同之处在于建立的测试网页。
[root@localhost html]# echo 22222 > test.html
安装完成后，客户端访问http://192.168.1.30/test.html测试。
编译安装Haproxy
1. [root@localhost ~]# yum -y install pcre-devel bzip2-devel 2. [root@localhost ~]# eject 3. [root@localhost ~]# mount /dev/cdrom /media/ 4. mount: /dev/sr0 is write-protected, mounting read-only 5. [root@localhost ~]# tar zxf /media/haproxy-1.5.19.tar.gz -C /usr/src 6. [root@localhost ~]# cd /usr/src/haproxy-1.5.19/ 7. [root@localhost haproxy-1.5.19]# make TARGET=linux26 //64位系统 8. [root@localhost haproxy-1.5.19]# make install
Haproxy服务器配置
- 建立配置文件
1. [root@localhost haproxy-1.5.19]# mkdir /etc/haproxy //创建配置文件目录 2. [root@localhost haproxy-1.5.19]# cp examples/haproxy.cfg /etc/haproxy/ //将haproxy.cfg文件复制到配置文件目录
- Haproxy配置项介绍
Haproxy配置文件通常分为三个部分，即global、defaults和listen。global为全局配置，defaults为默认配置，listen为应用组件配置。
global配置项说明如下：
1. global 2. log 127.0.0.1 local0 //配置日志记录，local0为日志设备，默认存放到系统日志 3. log 127.0.0.1 local1 notice //notice为日志级别，通常有24个级别 4. maxconn 4096 //最大连接数 5. uid 99 //用户uid 6. gid 99 //用户gid
defaults配置项说明如下：
1. defaults 2. log global //定义日志为global配置中的日志定义 3. mode http //模式为http 4. option httplog //采用http日志格式记录日志 5. retries 3 //检查节点服务器失败次数，连续超过3次失败，则认为节点不可用 6. redispatch //当服务器负载很高时，自动结束当前队列处理较久的连接 7. maxconn 2000 //最大连接数 8. contimeout 5000 //连接超时时间 9. clitimeout 50000 //客户端超时时间 10. srvtimeout 50000 //服务器超时时间
global配置项说明如下：
1. listen appli4-backup 0.0.0.0:10004 //定义一个appli4-backup的应用 2. option httpchk /index.html //检查服务器的index.html文件 3. option persist //强制将请求发送到已经down掉的服务器 4. balance roundrobin //负载均衡调度算法使用轮询算法 5. server inst1 192.168.114.56:80 check inter 2000 fall 3 //定义在线节点 6. server inst2 192.168.114.56:81 check inter 2000 fall 3 backup //定义备份节点
- 根据目前的群集设计，将haproxy.conf配置文件的内容修改如下。
1. [root@localhost ~]# vim /etc/haproxy/haproxy.cfg 2. # this config needs haproxy-1.1.28 or haproxy-1.2.1 3. 4. global 5. log 127.0.0.1 local0 6. log 127.0.0.1 local1 notice 7. #log loghost local0 info 8. maxconn 4096 9. #chroot /usr/share/haproxy //注释掉 10. uid 99 11. gid 99 12. daemon 13. #debug 14. #quiet 15. 16. defaults 17. log global 18. mode http 19. option httplog 20. option dontlognull 21. retries 3 22. #redispatch //注释掉 23. maxconn 2000 24. contimeout 5000 25. clitimeout 50000 26. srvtimeout 50000 27. listen appli4-backup 0.0.0.0:80 //复制listen配置项模块内容，端口号修改为80 28. option httpchk GET /index.html //http请求方式改为GET 29. balance roundrobin 30. server inst1 192.168.1.20:80 check inter 2000 fall 3 //两个节点服务器的配置 31. server inst2 192.168.1.30:80 check inter 2000 fall 3 //配置文件中后面的配置全部删除即可
- 创建自启动脚本
1. [root@localhost ~]# cp /usr/src/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy 2. [root@localhost ~]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy 3. [root@localhost ~]# chmod +x /etc/init.d/haproxy 4. [root@localhost ~]# chkconfig --add /etc/init.d/haproxy 5. [root@localhost ~]# /etc/init.d/haproxy start 6. Starting haproxy (via systemctl): [ OK ]
安装keepalived
- 安装ipvsadm和keepalived包。
1. [root@localhost ~]# mount /dev/cdrom /media 2. mount: /dev/sr0 is write-protected, mounting read-only 3. [root@localhost ~]# yum -y install ipvsadm keepalived
- 配置keepalived.cof
做haproxy+keepalived群集，只需要配置修改热备实例，指定主备调度器，名称，VIP地址，优先级和漂移地址即可。
1. [root@localhost ~]# vim /etc/keepalived/keepalived.conf 2. ! Configuration File for keepalived 3. 4. global_defs { 5. ......//省略部分内容 6. router_id R1 //主调度器名称 7. } 8. 9. vrrp_instance VI_1 { 10. state MASTER //热备状态 11. interface ens33 //VIP地址物理接口 12. virtual_router_id 51 13. priority 100 //优先级 14. advert_int 1 15. authentication { 16. auth_type PASS 17. auth_pass 1111 18. } 19. virtual_ipaddress { 20. 192.168.1.100 //漂移地址 21. } 22. } 23. [root@localhost ~]# systemctl start keepalived 24. [root@localhost ~]# systemctl enable keepalived
Haproxy+keepalived备份调度器安装配置与之大致相同，唯一需要注意的是keepalived配置时，分清主、备调度器配置（指定主备调度器，名称，VIP地址，优先级和漂移地址）。按照上面配置继续配置haproxy2+keepalived2。
案例测试
- 客户端打开浏览器访问http://192.168.1.100/test.html，刷新两次浏览器查看网页内容测试负载均衡（此时应能看到11111和22222两个网页）。断开web1，在次访问刷新两次测试高可用（此时应只能看到22222）。
- 断掉keepalived主调度器网络，继续访问http://192.168.1.100/test.html，访问成功即keepalived负载均衡成功（此时应能看到11111和22222两个网页）。
Haproxy日志
修改原有的配置文件中关于日志配置的选项，在global项目中配置。修改配置后保存并重启Haproxy。
1. [root@localhost ~]# vim /etc/haproxy/haproxy.cfg 2. log /dev/log local0 info 3. log /dev/log local0 notice 4. [root@localhost ~]# /etc/init.d/haproxy restart //重启 5. Restarting haproxy (via systemctl): [ OK ]
为了便于管理，将Haproxy相关的配置独立定义到haproxy.conf并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。
1. [root@localhost ~]# vim /etc/rsyslog.d/haproxy.conf 2. if ($programname == 'haproxy' and $syslogseverity-text == 'info') then -/var/log/haproxy/haproxy-info.log 3. & ~ 4. if ($programname == 'haproxy' and $syslogseverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log 5. & ~ 6. [root@localhost ~]# systemctl restart rsyslog
在客户端访问后，可以使用下面命令及时查看Haproxy的访问请求日志信息。
1. [root@localhost ~]# tail -f /var/log/haproxy/haproxy-info.log 2. Jul 23 23:08:35 localhost haproxy[43674]: 192.168.1.200:62207 [23/Jul/2022:23:08:35.157] appli4-backup appli4-backup/inst2 0/0/1/1/2 200 240 - - ---- 1/1/0/1/0 0/0 "GET /test.html HTTP/1.1" 3. Jul 23 23:08:35 localhost haproxy[43674]: 192.168.1.200:62207 [23/Jul/2022:23:08:35.159] appli4-backup appli4-backup/inst1 198/0/5/1/204 200 241 - - ---- 2/2/0/1/0 0/0 "GET /test.html HTTP/1.1"
Haproxy的参数优化
| 参数 | 参数说明 | 优化建议 |
| maxconn | 最大连接数 | 此参数根据应用的实际使用情况进行调整，推荐使用10240，同时"defaults"中的最大连接数的值不能超过"global"段中的定义 |
| daemon | 守护进程模式 | Haproxy可以使用非守护进程模式启动，生产环境建议使用守护进程模式启动 |
| nbproc | 负载均衡的并发进程数 | 建议与当前服务器CPU核数相等或为其2倍 |
| retries | 重试次数 | 参数主要用于对群集节点的检查，如果节点多，并且发量大，设置为2次或3次；在服务器节点不多的情况下，可以设置5次或6次 |
| option http-server-close | 主动关闭http请求选项 | 建议在生产环境中使用此项选项，避免由于timeout时间设置过长导致http连接堆积 |
| timeout http-keep-alive | 长时间超时时间 | 此选项设置长连接超时时间，具体参考应用自身特点设置，可以设置为10s |
| timeout http-request | HTTP请求超时时间 | 建议将此时间设置为5~10s，增加http连接释放速度 |
| timeout client | 客户端超时时间 | 如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了 |
