linux kernel crash问题分析解决

一，问题场景和环境

系统环境：

redhat6.4 kernel：2.6.32-358

问题：

使用iptables给mangle表添加了一条规则，使用nfqueue做为target。当一个http请求命中这个规则之后，机器直接重启了。偶发性的出了两次问题，但是却在重启的机器上重现不了这个问题。

二，排查

1，查看messages，kernel和dmesg相关日志，未发现有任何异常

2，查看重启前机器的负载，cpu，内存，磁盘io，网络io都正常

3，由于是使用了nfqueue做为target才导致的重启，怀疑是系统的问题，通过现象看应该是iptables的nfqueue导致的问题，而nfqueue用于从内核读取数据包在用户态处理。故具体定位在kernel或者libnetfilter_queue上。

4，通过服务器显示屏幕来看重启的时候会有什么有用的输出，但是服务器在客户的机房，查看太麻烦

5，使用last查看服务器的重启记录，发现一个意外现象，即：机器因为nfqueue重启的那个记录里面有一个crash记录，意思即系统奔溃了，从而导致重启。那就能断定是系统或者kernel crash了。

6，linux系统一般默认都安装配置了kdump，故当 linux 系统内核发生崩溃的时候，可以通过 kdump 等方式收集内核崩溃之前的内存，在/var/crash/日期 目录生成一个转储文件 vmcore。使用crash工具可以分享vmcore文件，来获取kernel crash前的一些重要信息。通过在机器上查找，果然发现了crash相关的vmcore文件。

三，分析vmcore文件

1，安装指定kernel的debuginfo包：
# yum install kernel-debuginfo-2.6.32-358.el6.x86_64

2，使用系统自带的crash命令分析vmcore：

从crash的输出可以看到kernel崩溃的原因为kernel遇见空指针导致崩溃

bt 命令用于查看系统崩溃前的堆栈等信息

bt命令结果如下：

通过bt分析，我们从下到上来看kernel崩溃前的系统调用，定位到kernel崩溃前的一个exception是ip寄存器RIP的异常，而通过dis 命令来看一下该地址的反汇编结果：

故可定位到出现异常的代码段：

而通过看skb_gso_segment结构体，可以判断出是因为skb_gso_segment在某些情况下会返回NULL，从而导致如上代码segs->next获取到了空指针，从而导致kernel崩溃。而既然是gso导致的问题，应该可以通过调整系统gso属性来规避这个问题：

从网上找到的对应patch如下：

https://patchwork.kernel.org/patch/6615071/

四，问题重现

1，最早发现问题，想要重现的办法是通过如下url访问：curl “t.test.com”，发现重现不了。

2，之后，通过搜索相关TSO/GSO/LRO/GRO相关的资料，觉得有可能是由于发送的数据包太小，导致没有触发相关的数据包分段重组，从而没有导致重现问题。故增大了请求的数据包，通过如下url重现了问题：

# curl “t.test.com/v2/user-manage/css/bootstrap.min.css?test1=sdfsfsdfsdfa&test2_id=2234234234234234234&test_id=50129009890098&test_token=1670056402|_80_m_lxxj1298|1493196793|c726299f2d03b8462764bacf20e2395f|sdfsdfdsfsdffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffsdfsdfsdfdsfsdfhgjgjghjghjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjjfhjgjfghjfjfhjjjjjjjjjjjjjjjjjjjjjfffffadfsfsdfsdfsdfsdfsdfdsfdssdfsdfsdfsdfsdfsdf”

iptables相关规则如下：

五，问题结论

linux kernel bug

六，解决办法

1，升级kernel。从patch和源代码可以看出kernel 3.0以后应该fix了这个问题，看了下3.10的kernel代码已经fix

2，使用drop，不再使用nfqueue这个target来添加iptables规则(建议使用这个办法)

3，调整网卡gso相关属性，发现通过关闭lro来解决这个重启问题。具体命令：

# ethtool -K eth0 lro on

LRO简介：

Linux 在 2.6.24 中加入了支持 IPv4 TCP 协议的 LRO (Large Receive Offload) ，它通过将多个 TCP 数据聚合在一个 skb 结构，在稍后的某个时刻作为一个大数据包交付给上层的网络协议栈，以减少上层协议栈处理 skb 的开销，提高系统接收 TCP 数据包的能力。当然，这一切都需要网卡驱动程序支持。

七，参考

https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/7/html/kernel_crash_dump_guide/sect-crash-running-the-utility

https://patchwork.kernel.org/patch/6615071/

https://www.ibm.com/developerworks/cn/linux/l-cn-network-pt/index.html