关于ip_conntrack跟踪连接满导致网络丢包问题的分析

简介:

我们的线上web服务器在访问量很大时,就会出现网络连接丢包的问题,通过dmesg命令查看日志,发现如下信息:

1
2
3
4
5
kernel: ip_conntrack: table full, dropping packet.
kernel: printk: 1 messages suppressed.
kernel: ip_conntrack: table full, dropping packet.
kernel: printk: 2 messages suppressed.
kernel: ip_conntrack: table full, dropping packet.


这里面关键的信息是"ip_conntrack: table full, dropping packet",从这里可以判断出这跟iptables有关系了,因为iptables防火墙使用了ip_conntrack内核模块实现连接跟踪功能,所有的进出数据包都会记录在连接跟踪表中,包括tcp,udp,icmp等,一旦连接跟踪表被填满以后,就会发生丢包,导致网络不稳定。


而我们的服务器确实打开了iptables防火墙,并且都是在网站流量非常高的时候经常会出现这个问题。这个问题的原因是由于web服务器收到了大量的连接,在启用了iptables的情况下,iptables会把所有的连接都做链接跟踪处理,这样iptables就会有一个链接跟踪表,当这个表满的时候,就会出现上面的错误。


iptables的链接跟踪表最大容量配置文件如下:


centos5 netfilter 参数配置文件:

1
/proc/sys/net/ipv4/netfilter/ip_conntrack_max 或者 /proc/sys/net/ipv4/ip_conntrack_max

centos6 netfilter 参数配置文件:

1
/proc/sys/net/netfilter/nf_conntrack_max


由于nf_conntrack 工作在3层,支持IPv4和IPv6,而ip_conntrack只支持IPv4,因此nf_conntrack模块在Linux的2.6.15内核中被引入,而ip_conntrack在Linux的2.6.22内核被移除(centos6.x版本),因此不同版本的系统,配置文件也就不尽相同了。目前大多的ip_conntrack_*已被 nf_conntrack_* 取代,很多ip_conntrack_*仅仅是个软链接,原先的ip_conntrack配置目录/proc/sys/net/ipv4/netfilter/ 仍然存在,但是新的nf_conntrack在/proc/sys/net/netfilter/中,这样做是为了能够向下的兼容。


了解了配置文件的变化后,我们看看这个问题该如何解决,解決方法一般有两个:


1、调整 /proc/ 下面的参数


可以增大适当conntrack 的条目,在CentOS5/RHEL 5下:

(1)运行 

1
sysctl -w net.ipv4.netfilter.ip_conntrack_max=655360


(2).在 /etc/sysctl.conf 中加入:

1
net.ipv4.netfilter.ip_conntrack_max = 655360


(3).使其生效

1
sysctl -p


在CentOS 6 /RHEL6下:


(1)运行 

1
sysctl -w net.nf_conntrack_max=100000


(2)在 /etc/sysctl.conf 中加入:

1
net.nf_conntrack_max = 100000


(3)使其生效

1
sysctl -p


2、不使用ip_conntrack模块


在CentOS5/RHEL 5下:


不使用ip_conntrack,需要移除state模块,因为使用该模块需要加载ip_conntrack。确保iptables规则中没有出现类似state模块的规则,如果有的话将其移除:

然后注释 /etc/sysconfig/iptables-config 中的:

1
IPTABLES_MODULES= "ip_conntrack_netbios_ns"


最后移除ip_conntrack模块:

1
[root@waiwei ipv4] #  modprobe -r ip_conntrack_netbios_ns xt_state

在CentOS6/RHEL6下:

1
2
[root@waiwei ipv4] #  modprobe -r nf_conntrack_ipv4 xt_state
[root@waiwei ipv4] #  modprobe -r nf_conntrack


现在 /proc/net/ 下面应该没有nf_conntrack了。



两种方法中,第一种简单,但是治标不治本,第二种稍微麻烦,但是毕竟使用,大家可根据情况进行选择。














本文转自南非蚂蚁51CTO博客,原文链接:http://blog.51cto.com/ixdba/1737642 ,如需转载请自行联系原作者




相关文章
|
1月前
|
编解码 异构计算
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
91 9
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
|
4月前
|
人工智能 边缘计算 物联网
蜂窝网络未来发展趋势的分析
蜂窝网络未来发展趋势的分析
159 2
|
10天前
|
Kubernetes Shell Windows
【Azure K8S | AKS】在AKS的节点中抓取目标POD的网络包方法分享
在AKS中遇到复杂网络问题时,可通过以下步骤进入特定POD抓取网络包进行分析:1. 使用`kubectl get pods`确认Pod所在Node;2. 通过`kubectl node-shell`登录Node;3. 使用`crictl ps`找到Pod的Container ID;4. 获取PID并使用`nsenter`进入Pod的网络空间;5. 在`/var/tmp`目录下使用`tcpdump`抓包。完成后按Ctrl+C停止抓包。
41 12
|
15天前
|
安全 网络协议 网络安全
当虚拟机出现网络连接问题时,应该先检查Hyper-V的网卡连接配置
当虚拟机出现网络连接问题时,应首先检查Hyper-V的网卡配置。具体步骤包括:确认虚拟机运行状态、检查虚拟交换机类型和物理网卡连接、确保虚拟机网络适配器正确连接到虚拟交换机,并验证网络配置(IP地址等)。常见问题如虚拟交换机配置错误、网络适配器未连接或防火墙阻止连接,可通过重新配置或调整设置解决。必要时重启虚拟机和宿主机,查看事件日志或联系技术支持以进一步排查问题。
|
1月前
|
计算机视觉
RT-DETR改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进RT-DETR颈部网络
RT-DETR改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进RT-DETR颈部网络
58 12
RT-DETR改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进RT-DETR颈部网络
|
1月前
|
计算机视觉
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
153 10
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
|
1月前
|
编解码 异构计算
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
194 7
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
|
3月前
|
存储 安全 物联网
浅析Kismet:无线网络监测与分析工具
Kismet是一款开源的无线网络监测和入侵检测系统(IDS),支持Wi-Fi、Bluetooth、ZigBee等协议,具备被动监听、实时数据分析、地理定位等功能。广泛应用于安全审计、网络优化和频谱管理。本文介绍其安装配置、基本操作及高级应用技巧,帮助用户掌握这一强大的无线网络安全工具。
164 9
浅析Kismet:无线网络监测与分析工具
|
3月前
|
负载均衡 网络协议 算法
不为人知的网络编程(十九):能Ping通,TCP就一定能连接和通信吗?
这网络层就像搭积木一样,上层协议都是基于下层协议搭出来的。不管是ping(用了ICMP协议)还是tcp本质上都是基于网络层IP协议的数据包,而到了物理层,都是二进制01串,都走网卡发出去了。 如果网络环境没发生变化,目的地又一样,那按道理说他们走的网络路径应该是一样的,什么情况下会不同呢? 我们就从路由这个话题聊起吧。
97 4
不为人知的网络编程(十九):能Ping通,TCP就一定能连接和通信吗?
|
4月前
|
Linux iOS开发 网络架构
如何使用 Ping 命令监测网络丢包情况?
如何使用 Ping 命令监测网络丢包情况?
2698 48

热门文章

最新文章