磁盘满了,为啥du却显示还有很大空间?

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 今天有个实习生问了我一个诡异的问题,“线下一台磁盘大小32G的开发机(虚拟机)打不出日志”,把追查过程和大家分享一下。

今天有个实习生问了我一个诡异的问题,“线下一台磁盘大小32G的开发机(虚拟机)打不出日志”,把追查过程和大家分享一下。

画外音:贵司开发机磁盘容量多大?

先du一下,查看磁盘空间:

[shenjian@dev02 ~]# du -sch /
16G     /

画外音:似乎还有空间。

再试了一下df,发现结果不一样:

[shenjian@dev02 ~]$ df -h
文件系统        容量  已用 可用 已用%  挂载点
/dev/sda2      33G   33G   33G  100% /
/dev/sda1      965M   30M  886M   4% /boot

画外音:显示32G都用完了。

du:disk usage

通过搜索文件来计算每个文件的大小然后累加得到的值。

df:disk free

通过文件系统来获取空间大小的信息。

如果用户删除了一个正在运行的应用程序所打开的某个目录下的文件:

du命令返回的值,显示出减去了该文件后的总大小

df命令返回的值,则不显示减去该文件后的大小(文件句柄还在被使用),直到该运行的应用程序关闭了这个打开的文件(才会真正释放空间)

常见的场景是,删除了一个很大的正在写入的tomcat的access日志,du显示的结果会把日志大小减去,而df则仍会包含该日志的大小(实际上tomcat仍引用了该文件的句柄)。

对我们的启示是,如果要删除某个access日志,不要粗暴的rm,而要温柔的:

echo "" > access.log

画外音:朋友们,有没有rm过仍被引用的日志?

如何发现被应用程序引用着“已删除”文件呢?

lsof:list open files

使用lsof查看打开的文件。

lsof | grep deleted

image.png

结果显示,一个我的logsvr程序(跑了几个月了),和实习生写的web-server程序(实习大作业)呈现deleted状态,值得怀疑。

画外音:请在手机上把图放大。

最终定位出,是web-server程序中的一个:

while(pid=fork())

手误写成了:

while(pid==fork())

导致while内一直fork进程,直到将系统资源吃干。并且该进程已经成了zombie进程,无法kill掉,重启开发虚拟机后,问题得到解决。

画外音:我去,多了一个等号,这个bug好真实。

一分钟不长,希望大家有收获:

du:disk usage

df:disk free

lsof:list open files

echo "" > access.log

架构师之路-分享可落地的技术文章

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
Web App开发 JSON JavaScript
浏览器书签bookmark转json格式
一直使用谷歌浏览器,因为某些原因登录谷歌账号不方便,所以公司和家里的浏览器上收藏的好多书签也不能同步,以前都是直接导出来,然后自己手动导入同步
|
移动开发 Linux Shell
python的os模块详细解读(一)
python的os模块详细解读(一)
135 2
python的os模块详细解读(一)
|
存储 缓存 数据库
系统设计面试的行家指南(上)(1)
系统设计面试的行家指南(上)(1)
176 0
|
JavaScript 前端开发 API
jQuery 3.0 新增了哪些特性?(jQuery 3 所引入的那些最重要的变化)
jQuery 3.0 新增了哪些特性?(jQuery 3 所引入的那些最重要的变化)
157 0
【Vue3】vue3 中 watch 和 watchEffect 的区别
【Vue3】vue3 中 watch 和 watchEffect 的区别
222 0
|
Unix Shell Python
使用 pyenv 搭建任意 python 环境
使用 pyenv 搭建任意 python 环境
619 0
|
存储 数据可视化 安全
「大数据系列」Apache NIFI:大数据处理和分发系统
「大数据系列」Apache NIFI:大数据处理和分发系统
|
存储 Java 芯片
首款RISC-V笔记本电脑疑曝光,或配Windows系统,年底能来吗
首款RISC-V笔记本电脑疑曝光,或配Windows系统,年底能来吗
285 0
|
机器学习/深度学习 存储 弹性计算
互联网大赛+命题解析-大规模云计算系统中计算子系统故障预测|学习笔记
快速学习互联网大赛+命题解析-大规模云计算系统中计算子系统故障预测