一次由ip_conntrack跟踪连接库满导致的大量丢包现象排除

简介:
刚上线不久的一台服务器,晚上高峰时有很多客户反映连不上服务器,通过在本地测试发现有的连接可以连上但有的不行,赶紧连上服务器查看日志,发现大量如下错误... 
kernel: ip_conntrack: table full, dropping packet. 
kernel: printk: 1 messages suppressed. 
kernel: ip_conntrack: table full, dropping packet. 
kernel: printk: 2 messages suppressed. 
kernel: ip_conntrack: table full, dropping packet. 
kernel: printk: 1 messages suppressed. 
ip_conntrack 这个东西是连接跟踪数据库(conntrack database),代表NAT机器跟踪连接的数目(不过只要打开iptables就会开始跟踪)如果这个东西满了结果可想而知 
赶紧查看当前的值发现很快就能到2万多 
wc -l /proc/net/ip_conntrack 
23722 /proc/net/ip_conntrack 
看看最大值限制 
cat /proc/sys/net/ipv4/netfilter/ip_conntrack_max 
65536 
访问稍大一点就会突破这个值 
保留时间是多久? 
cat /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established 
432000 
默认是5天,没必要这么久 
先临时调大看看效果 
echo 655350 > /proc/sys/net/ipv4/netfilter/ip_conntrack_max 
echo 10800 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established 
改完后观察了一段时间,发现服务器连接正常,没有再发生类似情况 
修改/etc/sysctl.conf 
net.ipv4.netfilter.ip_conntrack_max = 655360 
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 10800 
sysctl -p 立即生效 

OK问题排除,在上线前没有估计好服务器的访问量,从而忽略了对一些内核参数的修改。这点需要我以后多注意。



本文转自    geekwolf   51CTO博客,原文链接:http://blog.51cto.com/linuxgeek/998983

相关文章
|
3月前
|
缓存 网络协议 IDE
主动信息搜集:基于ARP的主机发现
主动信息搜集:基于ARP的主机发现
44 0
|
缓存 网络协议
通过ARP协议实验,设置错误的IP和MAC地址的静态绑定项目,会使得两台主机之间无法通信,而删除该项目后可恢复通信,分析其原因。
通过ARP协议实验,设置错误的IP和MAC地址的静态绑定项目,会使得两台主机之间无法通信,而删除该项目后可恢复通信,分析其原因。
276 0
|
虚拟化
问题解决:网络自动失败 您的网络可能并未使用dhcp协议
问题解决:网络自动失败 您的网络可能并未使用dhcp协议
353 0
问题解决:网络自动失败 您的网络可能并未使用dhcp协议
|
网络协议 Linux 网络安全
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之三——Netfilter hook函数
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之三——Netfilter hook函数
202 0
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之三——Netfilter hook函数
|
网络协议 Linux 网络安全
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之二——防火墙
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之二——防火墙
622 0
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之二——防火墙
|
弹性计算 Kubernetes 网络协议
k8s网络诊断之被丢弃的SYN--linux数据包的接收过程(k8s+flannel+ ipvs)
某客户反馈,ECS上自建nginx server 通过proxy_pass 反向代理 云上k8s集群 nodeport类型的svc,存在大量1s的延迟请求的问题,在nginx所在的ecs上,使用netstat可以看到syn_sent状态的connection,如下图所示,但是在pod所在的worker节点上是看不到syn_RECV状态的connection(nodeport上也无)
1359 0
|
网络协议
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之一——日志方式
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之一——日志方式
263 0
|
网络协议 Shell
tcpdump 方式检测ip 网段 扫段 tcp并发数攻击防御shell 脚本
tcpdump 自定义抓包时间将信息存入文件, 以systemd 系统服务方式进行启动
620 0