一次由ip_conntrack跟踪连接库满导致的大量丢包现象排除

简介:
刚上线不久的一台服务器,晚上高峰时有很多客户反映连不上服务器,通过在本地测试发现有的连接可以连上但有的不行,赶紧连上服务器查看日志,发现大量如下错误... 
kernel: ip_conntrack: table full, dropping packet. 
kernel: printk: 1 messages suppressed. 
kernel: ip_conntrack: table full, dropping packet. 
kernel: printk: 2 messages suppressed. 
kernel: ip_conntrack: table full, dropping packet. 
kernel: printk: 1 messages suppressed. 
ip_conntrack 这个东西是连接跟踪数据库(conntrack database),代表NAT机器跟踪连接的数目(不过只要打开iptables就会开始跟踪)如果这个东西满了结果可想而知 
赶紧查看当前的值发现很快就能到2万多 
wc -l /proc/net/ip_conntrack 
23722 /proc/net/ip_conntrack 
看看最大值限制 
cat /proc/sys/net/ipv4/netfilter/ip_conntrack_max 
65536 
访问稍大一点就会突破这个值 
保留时间是多久? 
cat /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established 
432000 
默认是5天,没必要这么久 
先临时调大看看效果 
echo 655350 > /proc/sys/net/ipv4/netfilter/ip_conntrack_max 
echo 10800 > /proc/sys/net/ipv4/netfilter/ip_conntrack_tcp_timeout_established 
改完后观察了一段时间,发现服务器连接正常,没有再发生类似情况 
修改/etc/sysctl.conf 
net.ipv4.netfilter.ip_conntrack_max = 655360 
net.ipv4.netfilter.ip_conntrack_tcp_timeout_established = 10800 
sysctl -p 立即生效 

OK问题排除,在上线前没有估计好服务器的访问量,从而忽略了对一些内核参数的修改。这点需要我以后多注意。



本文转自    geekwolf   51CTO博客,原文链接:http://blog.51cto.com/linuxgeek/998983

相关文章
|
4月前
|
缓存 网络协议 IDE
主动信息搜集:基于ARP的主机发现
主动信息搜集:基于ARP的主机发现
52 0
|
6月前
|
存储 缓存 网络协议
网络丢包排查方法
网络丢包排查方法
|
6月前
|
网络协议
交换机ARP学习异常,看网工大佬是如何处理的?
交换机ARP学习异常,看网工大佬是如何处理的?
141 2
|
9月前
广播风暴的分析和解决方法(STP配置)
广播风暴的分析和解决方法(STP配置)
86 0
|
网络协议 Linux 网络安全
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之三——Netfilter hook函数
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之三——Netfilter hook函数
209 0
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之三——Netfilter hook函数
|
网络协议 Linux 网络安全
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之二——防火墙
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之二——防火墙
632 0
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之二——防火墙
|
弹性计算 Kubernetes 网络协议
k8s网络诊断之被丢弃的SYN--linux数据包的接收过程(k8s+flannel+ ipvs)
某客户反馈,ECS上自建nginx server 通过proxy_pass 反向代理 云上k8s集群 nodeport类型的svc,存在大量1s的延迟请求的问题,在nginx所在的ecs上,使用netstat可以看到syn_sent状态的connection,如下图所示,但是在pod所在的worker节点上是看不到syn_RECV状态的connection(nodeport上也无)
1365 0
|
网络协议
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之一——日志方式
【TCP/IP】【调试】丢包、流不通、错包等问题查证手段系列之一——日志方式
265 0
|
算法 网络协议 Linux
Netfilter 连接跟踪与状态检测的实现
内核版本:2.6.12 本文只是一部份,详细分析了连接跟踪的基本实现,对于ALG部份,还没有写,在整理笔记,欢迎大家提意见,批评指正。 1.什么是连接跟踪 连接跟踪(CONNTRACK),顾名思义,就是跟踪并且记录连接状态。Linux为每一个经过网络堆栈的数据包,生成一个新的连接记录项(Connection entry)。此后,所有属于此连接的数据包都被唯一地分配给这个连接,并标识连接的状态。连接跟踪是防火墙模块的状态检测的基础,同时也是地址转换中实现SNAT和DNAT的前提。 那么Netfilter又是如何生成连接记录项的呢?每一个数据,都有“来源”与“目的”主机,发起连接的主机称为“来
374 0
|
网络协议 开发者
记一次TCP全队列溢出问题排查过程
记一次TCP全队列溢出问题排查过程
记一次TCP全队列溢出问题排查过程