How to kill an `uninterruptible sleep` process-阿里云开发者社区

开发者社区> orczhou> 正文

How to kill an `uninterruptible sleep` process

简介:
+关注继续查看

很早之前就遇到一次这个故障,当时是一台主机故障,这次是上百台主机故障。当时是使用mysqldump向NFS备份时,写数据时大概是NFS出现故障,使得mysqldump进程进入uninterruptible sleep(man ps)状态:

$ps axu|grep mysqldump
mysql 2718 0.0 0.0 51088 672 pts/0 S+ 13:30 0:00 grep mysqldump
mysql 14916 1.4 0.0 0 0 ? D 02:03 10:03 [mysqldump]

进入该状态的进程,会一直等待NFS,不接受任何信号,当然也就无法被杀死(kill/fuser -k)。因为进程一直在运行队列(running queue)中,所以还会导致主机的Load上升(虽然主机并不繁忙)。如果由于这个原因被卡住的进程很多的话,主机的Load可能会看起来非常高。

上次出现这个问题时只有一台主机出了这个症状,当时Google后也注意到很多人有遇到了类似的问题,并且都束手无策(There are some things even root can't do)。Google后,再尝试找了一些Linux原理方面的介绍,依然无解。

解决的终极办法是重启主机(reboot),所以决定等待一段时间(之前遇到过一些僵死进程Z,等待一段时间后也消失了),实在不行就择机重启主机。不过奇怪的是,等了几天过后,这个进程确实消失了(正常结束了?应该是)。

1. Why is Linux so "stupid"?

有人就问,Linux设计是不是有问题,为什么会有一些进程root也无法杀死呢?

jra在How to kill a process in uninterruptible sleep state中给了一个解释:


    There's fairly extensive discussion of this in a couple of the kernel 
design books, and I think in Nemeth, Snyder and Seebass: the problem stems 
from the fact that there are two types of device drivers -- those 
for "fast" devices and those for "slow" devices:

    Slow-device drivers -- for things like terminals, and such -- are 
                usually split in two pieces, and can therefore be 
                interrupted while they're in the middle of something.

    Fast-device drivers -- which service things like hard drives and (I 
                think) ethernet cards -- are designed to expect that
                when they call out to hardware, it will respond  instantly 
                (in human terms), and that they won't have to wait 
                on anything. Such drivers have, as a rule, proven 
                extremely intolerant of hardware trouble -- if your hard
                drive start having to do hardware retries to read a 
                sector, your system perfromance is going int he toilet, 
                even if you have more than one drive...


大概意思是说,Linux中设备驱动程序可以分为“slow device”和“fast device”两类。磁盘属于“fast device”(如果当作“slow device”处理效率会很低),在这类设备上操作时会以uninterruptible的方式进行。

2. 真的没办法吗?

理论上,除了重启主机,貌似没什么办法了。不过,根据实际经验和运气,也还是有一些办法可以尝试的。

办法1:umount -f

如果是由于NFS故障导致的,可以尝试使用先umount/mount重新挂载NFS。如果NFS无法卸载(如果遇到上述情况,八成是这样),可以尝试使用 -f 参数卸载。最近一次遇到这个故障,有接近上百台主机出现这个故障,就是使用umount -f成功卸载NFS后,相关uninterruptible的进程也都随之正常结束。当时发现,连续重试多次 umount -f 才行:

root>#umount -f /nfsdir
umount2: Device or resource busy
umount: /nfsdir: device is busy
root>#umount -f /nfsdir
umount2: Device or resource busy
umount: /nfsdir: device is busy

办法2:等

最早mysqldump遇到这个问题时,束手无策后,就等了几天,发现进程确实结束了。所以如果情况不是很紧急,“等”也是一个办法。

遇到的僵死进程这个办法也可能有效。

办法3:killall -KILL rpciod

一篇文章中,还提到,进程处于uninterruptible sleep(即ps的D状态),进程处于rpc_execute调用状态,而rpc_execute调用是由rpciod提供,所以可以通过杀死rpciod来解决问题。(rpciod被杀死后会自动重启过来)【没有实验过,慎用,希望有经验者分享一下】

办法4:reboot

实在不行,就只能reboot了。这是最不推荐的做法,毕竟每次遇到都reboot,代价还是比较大,特别是当你在追求HA的时候。

3. 能够避免这种情况吗?

在RTFM之后,发现可以通过挂载NFS时指定一些参数,尽可能的避免这个问题:


     soft       If an NFS file operation has a major timeout then report
                 an I/O error to the calling program.  The default is  to
                 continue retrying NFS file operations indefinitely.

      hard       If an NFS file operation has a major timeout then report
                 "server not responding"  on  the  console  and  continue
                 retrying indefinitely.  This is the default.

      intr       If  an  NFS file operation has a major timeout and it is
                 hard mounted, then allow signals to  interupt  the  file
                 operation  and  cause  it to return EINTR to the calling
                 program.  The default is to not allow file operations to
                 be interrupted.


上面3个参数,其中hard是默认的。我们通过断开网络模拟NFS故障,测试了 intr 选项,发现能够一定程度上避免上述的情况。在测试 soft 选项时,并没有上面描述的那么好用,在实验中,使用 soft 挂载是现象和 hard 类似(不知道我是不是忽略哪些细节了)。

如果你被这个问题困扰,可以试试使用intr参数挂载NFS:

mount -o intr 172.23.119.25:/nfs /nfsdir

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9488 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
11191 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13168 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9049 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6886 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
21895 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4008 0
+关注
19
文章
1
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载