我个人的Haproxy-1.7.9实践:安装,编译与测试(2)(★firecat推荐,针对TCP四层负载均衡★)

简介: 我个人的Haproxy-1.7.9实践:安装,编译与测试(★firecat推荐,针对TCP四层负载均衡★)

7、启动


cd /usr/local/haproxy/sbin


ulimit -n 102400 #修改当前进程的最大文件数


./haproxy -f /usr/local/haproxy/conf/haproxy.cfg

netstat -lnpt | grep haproxy  #查看进程是否在


8、关闭

killall -9 haproxy


9、重启

./haproxy -f /usr/local/haproxy/conf/haproxy.cfg -st 'cat /usr/local/haproxy/logs/haproxy.pid'



10、查看web监控


http://172.16.6.161:1080/stats


image.png




三、个人实践


测试环境:我个人的Linux TCP Server测试源码,C语言(★firecat推荐★)


我用netstat -nalp|grep 1884|wc -l 和 netstat -na|grep ESTABLISHED|wc -l 命令以及wireshark工具发现:


1、client会向haproxy建立tcp连接,haproxy也会向上游服务器建立tcp连接,且前端和后端tcp连接数目相同;wireshark可以抓包,查看三次握手的过程。


2、但是,这些现象,与文章前面描述的haproxy四层负载均衡的原理背道而驰,内容如下:


四层负载均衡:仅仅建立一次TCP连接。

七层负载均衡:负载均衡器与客户端及后端的服务器会分别建立一个TCP连接。即两次TCP连接。

3、个人认为,haproxy/Nginx都存在TCP源端口耗尽问题,haproxy/Nginx作为反向代理,会使用自己的IP地址作为源地址连接后端的服务器。根据TCP协议,无论任何类型操作系统都只能拥有64K个左右的源TCP端口,用于向外发起TCP连接。


说白了,别人家连接haproxy服务器没有端口限制,但是haproxy自身连接别人家上游服务器时,则有65535个端口限制。


4、那怎么解决端口耗尽问题?


(1)既然单个IP有65535个端口的限制,那就增大IP的个数。单个网卡绑定多个IP来解决。Linux支持这个功能,不限定IP数目。我配置两个IP,分别是172.16.6.161和172.16.6.162。


终端使用命令ip addr可以查询ip地址。ifconfig命令查询不到。


image.png


举个与haproxy无关的例子,当服务器出现多IP时,TCP listen怎么工作?我的C语言版本的TCP服务器程序,绑定地址写INADDR_ANY,意味着两个IP都同时支持客户端接入。


   bzero(&servaddr,sizeof(servaddr));

   servaddr.sin_family = AF_INET;

   servaddr.sin_addr.s_addr = htonl(INADDR_ANY);

   servaddr.sin_port = htons(port);

   if (bind(listenfd,(struct sockaddr*)&servaddr,sizeof(servaddr)) == -1)

[root@localhost ~]# netstat -nalp|grep 1883

tcp        0      0 0.0.0.0:1883            0.0.0.0:*               LISTEN      6333/epltest


如果绑定地址分别写172.16.6.161和172.16.6.162,则


[root@localhost ~]# netstat -nalp|grep 1883

tcp        0      0 172.16.6.161:1883       0.0.0.0:*               LISTEN      6723/epltest        

tcp        0      0 172.16.6.162:1883       0.0.0.0:*               LISTEN      6688/epltest        


说明1883端口可以分别被不同IP使用。


(2)尽可能多地使用本地端口数目。


输入终端命令,查看默认值 sysctl net.ipv4.ip_local_port_range

可以查看默认端口使用范围 net.ipv4.ip_local_port_range = 32768  61000


修改/etc/sysctl.conf中对应的内容

net.ipv4.ip_local_port_range = 1025 65000

输入终端命令,使能生效 sysctl -p


(3)修改haproxy.cfg文件


haproxy,161:*把数据转发给上游,161:1883


haproxy,162:*把数据转发给上游,161:1888


backend my-servers #后端服务servers

   balance roundrobin #使用RR负载均衡算法

   server server1 172.16.6.161:1883 source 172.16.6.161:1025-65000 maxconn 10000

   server server2 172.16.6.161:1888 source 172.16.6.162:1025-65000 maxconn 10000

注:server server1 172.16.6.161:1883 source 172.16.6.161:1025-65000这句话


前半部分的server1 IP指的是上游服务器,后半部分的souce IP指的是haproxy服务器。


因为本人测试只用1台电脑,所以看起来IP容易混淆。


说白了,haproxy拿0.0.0.0:1884端口对外,172.16.6.161和162对内(上游)。


这样也行:


haproxy,161:*把数据转发给上游,161:1883


haproxy,162:*还是把数据转发给上游,161:1883


backend my-servers #后端服务servers

   balance roundrobin #使用RR负载均衡算法

   server server1 172.16.6.161:1883 source 172.16.6.161:1025-65000 maxconn 10000

   server server2 172.16.6.161:1883 source 172.16.6.162:1025-65000 maxconn 10000


详情见博客:


Use HAProxy to load balance 300k concurrent tcp socket connections


配置haproxy支持使用多个lan内网ip做负载均衡以突破haproxy机只支持64k连接(突破单ip 65535端口限制)

haproxy TCP源端口耗尽问题(单个网卡最多65535个端口)


5、欢迎访问姊妹篇:


我个人的Nginx-1.12.2实践:安装,编译与测试(★firecat推荐,针对TCP四层负载均衡★)




------


参考文章:


http://www.linuxidc.com/Linux/2017-03/141593.htm


http://blog.chinaunix.net/uid-26168435-id-5761429.html


#Linux参数调优,修改文件 /etc/sysctl.conf ,在末尾追加这些文字


fs.file-max = 2097152

fs.nr_open = 2097152


net.core.somaxconn = 65535

net.core.rmem_default = 65535

net.core.wmem_default = 65535

net.core.rmem_max = 8388608

net.core.wmem_max = 83886080

net.core.optmem_max = 40960

net.ipv4.tcp_rmem = 4096 87380 83886080

net.ipv4.tcp_wmem = 4096 65535 83886080

net.ipv4.tcp_mem = 8388608 8388608 83886080


net.ipv4.ip_local_port_range = 1025 65000

net.ipv4.tcp_max_syn_backlog = 16384

net.core.netdev_max_backlog = 16384

net.ipv4.tcp_fin_timeout = 15


#修改完,输入终端命令,使能生效 sysctl -p


#允许当前会话/进程打开文件句柄数


ulimit -n 1048576

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
相关文章
|
负载均衡 NoSQL Redis
不增加 GPU,首 Token 延迟下降50%|LLM 服务负载均衡的新实践
针对LLM服务的特点,Higress AI网关以插件形式提供了面向LLM服务的负载均衡算法,包括全局最小请求数负载均衡、前缀匹配负载均衡以及GPU感知负载均衡,能够在不增加硬件成本的前提下,提升系统的吞吐能力、降低响应延迟,并实现更公平、高效的任务调度。
1377 136
|
弹性计算 负载均衡 网络协议
阿里云SLB深度解析:从流量分发到架构优化的技术实践
本文深入探讨了阿里云负载均衡服务(SLB)的核心技术与应用场景,从流量分配到架构创新全面解析其价值。SLB不仅是简单的流量分发工具,更是支撑高并发、保障系统稳定性的智能中枢。文章涵盖四层与七层负载均衡原理、弹性伸缩引擎、智能DNS解析等核心技术,并结合电商大促、微服务灰度发布等实战场景提供实施指南。同时,针对性能调优与安全防护,分享连接复用优化、DDoS防御及零信任架构集成的实践经验,助力企业构建面向未来的弹性架构。
1198 76
|
存储 弹性计算 负载均衡
活动实践 | ALB 实现跨地域负载均衡
本方案通过阿里云的云企业网(CEN)、转发路由器(TR)、专有网络(VPC)、云服务器(ECS)和应用型负载均衡(ALB),实现跨地域的应用负载均衡。它扩展了系统的吞吐能力,提升了可用性和安全性。用户可通过资源编排服务(ROS)一键部署,并进行负载测试验证。清理资源也简便快捷。
|
负载均衡 网络协议 Unix
Nginx负载均衡与故障转移实践
Nginx通过ngx_http_upstream_module模块实现负载均衡与故障转移,适用于多服务器环境。利用`upstream`与`server`指令定义后端服务器组,通过`proxy_pass`将请求代理至这些服务器,实现请求分发。Nginx还提供了多种负载均衡策略,如轮询、权重分配、IP哈希等,并支持自定义故障转移逻辑,确保系统稳定性和高可用性。示例配置展示了如何定义负载均衡设备及状态,并应用到具体server配置中。
|
测试技术 开发工具 Python
在Jetson Nano上编译 pyrealsense2库包,并在Intel的tof相机上进行测试
在Jetson Nano上编译 pyrealsense2库包,并在Intel的tof相机上进行测试
1154 0
|
消息中间件 负载均衡 Kafka
Kafka 实现负载均衡与故障转移:深入分析 Kafka 的架构特点与实践
【8月更文挑战第24天】Apache Kafka是一款专为实时数据处理和流传输设计的高性能消息系统。其核心设计注重高吞吐量、低延迟与可扩展性,并具备出色的容错能力。Kafka采用分布式日志概念,通过数据分区及副本机制确保数据可靠性和持久性。系统包含Producer(消息生产者)、Consumer(消息消费者)和Broker(消息服务器)三大组件。Kafka利用独特的分区机制实现负载均衡,每个Topic可以被划分为多个分区,每个分区可以被复制到多个Broker上,确保数据的高可用性和可靠性。
822 2
|
缓存 负载均衡 算法
(四)网络编程之请求分发篇:负载均衡静态调度算法、平滑轮询加权、一致性哈希、最小活跃数算法实践!
先如今所有的技术栈中,只要一谈关于高可用、高并发处理相关的实现,必然会牵扯到集群这个话题,也就是部署多台服务器共同对外提供服务,从而做到提升系统吞吐量,优化系统的整体性能以及稳定性等目的。
878 2
|
负载均衡 算法
SpringCloud&Ribbon负载均衡原理与实践
SpringCloud&Ribbon负载均衡原理与实践
468 3
|
负载均衡 网络协议 安全
slb监听协议tcp
SLB的TCP监听协议适用于WebSocket支持和通用TCP服务,如FTP、SMTP。配置时设定监听端口,健康检查通过TCP握手检测服务器可用性。会话保持基于源IP,可配置SSL/TLS卸载或端到端加密。注意特定HTTP头传递和平台限制。适用于需要传输层流量管理和不依赖HTTP的应用。
825 3
|
负载均衡 关系型数据库 分布式数据库
【PolarDB开源】PolarDB读写分离实践:优化读取性能与负载均衡策略
【5月更文挑战第26天】PolarDB是云原生关系型数据库,通过读写分离优化性能和扩展性。它设置主节点处理写操作,从节点处理读操作,异步复制保证数据一致性。优化读取性能的策略包括增加从节点数量、使用只读实例和智能分配读请求。负载均衡策略涉及基于权重、连接数和地理位置的分配。实践示例中,电商网站通过主从架构、只读实例和负载均衡策略提升商品查询效率。PolarDB的读写分离与负载均衡为企业应对大数据和高并发提供了有效解决方案。
745 0

热门文章

最新文章