7、启动
cd /usr/local/haproxy/sbin
ulimit -n 102400 #修改当前进程的最大文件数
./haproxy -f /usr/local/haproxy/conf/haproxy.cfg
netstat -lnpt | grep haproxy #查看进程是否在
8、关闭
killall -9 haproxy
9、重启
./haproxy -f /usr/local/haproxy/conf/haproxy.cfg -st 'cat /usr/local/haproxy/logs/haproxy.pid'
10、查看web监控
http://172.16.6.161:1080/stats
三、个人实践
测试环境:我个人的Linux TCP Server测试源码,C语言(★firecat推荐★)
我用netstat -nalp|grep 1884|wc -l 和 netstat -na|grep ESTABLISHED|wc -l 命令以及wireshark工具发现:
1、client会向haproxy建立tcp连接,haproxy也会向上游服务器建立tcp连接,且前端和后端tcp连接数目相同;wireshark可以抓包,查看三次握手的过程。
2、但是,这些现象,与文章前面描述的haproxy四层负载均衡的原理背道而驰,内容如下:
四层负载均衡:仅仅建立一次TCP连接。
七层负载均衡:负载均衡器与客户端及后端的服务器会分别建立一个TCP连接。即两次TCP连接。
3、个人认为,haproxy/Nginx都存在TCP源端口耗尽问题,haproxy/Nginx作为反向代理,会使用自己的IP地址作为源地址连接后端的服务器。根据TCP协议,无论任何类型操作系统都只能拥有64K个左右的源TCP端口,用于向外发起TCP连接。
说白了,别人家连接haproxy服务器没有端口限制,但是haproxy自身连接别人家上游服务器时,则有65535个端口限制。
4、那怎么解决端口耗尽问题?
(1)既然单个IP有65535个端口的限制,那就增大IP的个数。单个网卡绑定多个IP来解决。Linux支持这个功能,不限定IP数目。我配置两个IP,分别是172.16.6.161和172.16.6.162。
终端使用命令ip addr可以查询ip地址。ifconfig命令查询不到。
举个与haproxy无关的例子,当服务器出现多IP时,TCP listen怎么工作?我的C语言版本的TCP服务器程序,绑定地址写INADDR_ANY,意味着两个IP都同时支持客户端接入。
bzero(&servaddr,sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
servaddr.sin_port = htons(port);
if (bind(listenfd,(struct sockaddr*)&servaddr,sizeof(servaddr)) == -1)
[root@localhost ~]# netstat -nalp|grep 1883
tcp 0 0 0.0.0.0:1883 0.0.0.0:* LISTEN 6333/epltest
如果绑定地址分别写172.16.6.161和172.16.6.162,则
[root@localhost ~]# netstat -nalp|grep 1883
tcp 0 0 172.16.6.161:1883 0.0.0.0:* LISTEN 6723/epltest
tcp 0 0 172.16.6.162:1883 0.0.0.0:* LISTEN 6688/epltest
说明1883端口可以分别被不同IP使用。
(2)尽可能多地使用本地端口数目。
输入终端命令,查看默认值 sysctl net.ipv4.ip_local_port_range
可以查看默认端口使用范围 net.ipv4.ip_local_port_range = 32768 61000
修改/etc/sysctl.conf中对应的内容
net.ipv4.ip_local_port_range = 1025 65000
输入终端命令,使能生效 sysctl -p
(3)修改haproxy.cfg文件
haproxy,161:*把数据转发给上游,161:1883
haproxy,162:*把数据转发给上游,161:1888
backend my-servers #后端服务servers
balance roundrobin #使用RR负载均衡算法
server server1 172.16.6.161:1883 source 172.16.6.161:1025-65000 maxconn 10000
server server2 172.16.6.161:1888 source 172.16.6.162:1025-65000 maxconn 10000
注:server server1 172.16.6.161:1883 source 172.16.6.161:1025-65000这句话
前半部分的server1 IP指的是上游服务器,后半部分的souce IP指的是haproxy服务器。
因为本人测试只用1台电脑,所以看起来IP容易混淆。
说白了,haproxy拿0.0.0.0:1884端口对外,172.16.6.161和162对内(上游)。
这样也行:
haproxy,161:*把数据转发给上游,161:1883
haproxy,162:*还是把数据转发给上游,161:1883
backend my-servers #后端服务servers
balance roundrobin #使用RR负载均衡算法
server server1 172.16.6.161:1883 source 172.16.6.161:1025-65000 maxconn 10000
server server2 172.16.6.161:1883 source 172.16.6.162:1025-65000 maxconn 10000
详情见博客:
Use HAProxy to load balance 300k concurrent tcp socket connections
配置haproxy支持使用多个lan内网ip做负载均衡以突破haproxy机只支持64k连接(突破单ip 65535端口限制)
haproxy TCP源端口耗尽问题(单个网卡最多65535个端口)
5、欢迎访问姊妹篇:
我个人的Nginx-1.12.2实践:安装,编译与测试(★firecat推荐,针对TCP四层负载均衡★)
------
参考文章:
http://www.linuxidc.com/Linux/2017-03/141593.htm
http://blog.chinaunix.net/uid-26168435-id-5761429.html
#Linux参数调优,修改文件 /etc/sysctl.conf ,在末尾追加这些文字
fs.file-max = 2097152
fs.nr_open = 2097152
net.core.somaxconn = 65535
net.core.rmem_default = 65535
net.core.wmem_default = 65535
net.core.rmem_max = 8388608
net.core.wmem_max = 83886080
net.core.optmem_max = 40960
net.ipv4.tcp_rmem = 4096 87380 83886080
net.ipv4.tcp_wmem = 4096 65535 83886080
net.ipv4.tcp_mem = 8388608 8388608 83886080
net.ipv4.ip_local_port_range = 1025 65000
net.ipv4.tcp_max_syn_backlog = 16384
net.core.netdev_max_backlog = 16384
net.ipv4.tcp_fin_timeout = 15
#修改完,输入终端命令,使能生效 sysctl -p
#允许当前会话/进程打开文件句柄数
ulimit -n 1048576

