【inode】Linux服务器inode索引节点用满原因以及解决方法

简介: 系统出现异常我们团队的阿里云服务器在前几天运行过程中,服务器CPU负载长时间达到100%,并且不能通过ssh连接服务器。 经过重启服务器后对服务器进行连接,发现服务器上的crontab不能正常运行php-fpm服务不能正常开启crontab的报错提示为 ...

系统出现异常

我们团队的阿里云服务器在前几天运行过程中,服务器CPU负载长时间达到100%,并且不能通过ssh连接服务器。
经过重启服务器后对服务器进行连接,发现

  • 服务器上的crontab不能正常运行
  • php-fpm服务不能正常开启

crontab的报错提示为

正在启动 crond:crond: can’t open or create /var/run/crond.pid: 设备上没有空间

php-fpm的报错提示为

Fatal Error Unable to create lock file: Bad file descriptor (9)

问题排查

磁盘空间

由于crontab的反馈是没有空间,于是开始对服务器的磁盘空间进行检查

[root@********** ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1       20G   13G  6.5G  66% /
tmpfs           1.9G     0  1.9G   0% /dev/shm  

发现磁盘空间是够用的。

inode


[root@****** ~]# df -i
Filesystem      Inodes   IUsed  IFree IUse% Mounted on
/dev/xvda1     1310720 1306882   3838  100% /
tmpfs           490143       1 490142    1% /dev/shm

发现磁盘上的inode空间被全部耗尽

分析问题

出现inode被耗尽的原因主要是大量的碎片文件和小文件占用的inode的使用。

Linux上的inode的原理文章很多,不再赘述。

解决方法

根据和阿里云售后工程师的沟通,解决inode用满的方式有下面几种

  1. 排查清理服务器内无效文件、碎片文件,垃圾文件。
  2. 转移非在用的数据到数据盘或本地存档。
  3. 考虑通过自定义镜像来更换系统时扩容来增加iNode容量。

解决实践

这里采用了第三种方式

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

经过系统盘的扩容,系统盘从原来的20G扩充为40G,同时inode的容量也变成了原来的两倍。


[root@********** ~]# df -i
Filesystem      Inodes   IUsed   IFree IUse% Mounted on
/dev/xvda1     2621440 1311396 1310044   51% /
tmpfs           490143       1  490142    1% /dev/shm
[root@********* ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1       40G   13G   25G  33% /
tmpfs           1.9G     0  1.9G   0% /dev/shm

参考资料

  • http://www.ruanyifeng.com/blog/2011/12/inode.html
  • 后记

    技术人员的需要经历一款产品的调研、开发、部署、迭代,这样才能够得到全面的成长。

    目录
    相关文章
    |
    域名解析 人工智能 弹性计算
    DeepSeek服务器繁忙解决方法:使用阿里云一键部署DeepSeek个人网站!
    通过阿里云一键部署DeepSeek个人网站,解决服务器繁忙问题。学生用户可领取300元代金券实现0成本部署,普通用户则可用99元/年的服务器。教程涵盖从选择套餐、设置密码到获取百炼API-KEY的全流程,助您快速搭建专属大模型主页,体验DeepSeek、Qwen-max、Llama等多款模型,无需代码,最快5分钟完成部署。支持绑定个人域名,共享亲友使用,日均成本仅约1元。
    1389 10
    |
    监控 Linux 应用服务中间件
    Linux多节点多硬盘部署MinIO:分布式MinIO集群部署指南搭建高可用架构实践
    通过以上步骤,已成功基于已有的 MinIO 服务,扩展为一个 MinIO 集群。该集群具有高可用性和容错性,适合生产环境使用。如果有任何问题,请检查日志或参考MinIO 官方文档。作者联系方式vx:2743642415。
    4586 57
    |
    弹性计算 安全 Linux
    阿里云服务器ECS安装宝塔Linux面板、安装网站(新手图文教程)
    本教程详解如何在阿里云服务器上安装宝塔Linux面板,涵盖ECS服务器手动安装步骤,包括系统准备、远程连接、安装命令执行、端口开放及LNMP环境部署,手把手引导用户快速搭建网站环境。
    |
    监控 Linux 网络安全
    FinalShell SSH工具下载,服务器管理,远程桌面加速软件,支持Windows,macOS,Linux
    FinalShell是一款国人开发的多平台SSH客户端工具,支持Windows、Mac OS X和Linux系统。它提供一体化服务器管理功能,支持shell和sftp同屏显示,命令自动提示,操作便捷。软件还具备加速功能,提升访问服务器速度,适合普通用户和专业人士使用。
    4602 0
    |
    JavaScript Linux Python
    在Linux服务器中遇到的立即重启后的绑定错误:地址已被使用问题解决
    总的来说,解决"地址已被使用"的问题需要理解Linux的网络资源管理机制,选择合适的套接字选项,以及合适的时间点进行服务重启。以上就是对“立即重启后的绑定错误:地址已被使用问题”的全面解答。希望可以帮你解决问题。
    903 20
    |
    数据挖掘 Linux 数据库
    服务器数据恢复—Linux系统服务器数据恢复案例
    服务器数据恢复环境: linux操作系统服务器中有一组由4块SAS接口硬盘组建的raid5阵列。 服务器故障: 服务器工作过程中突然崩溃。管理员将服务器操作系统进行了重装。 用户方需要恢复服务器中的数据库、办公文档、代码文件等。
    |
    Kubernetes API 网络安全
    当node节点kubectl 命令无法连接到 Kubernetes API 服务器
    当Node节点上的 `kubectl`无法连接到Kubernetes API服务器时,可以通过以上步骤逐步排查和解决问题。首先确保网络连接正常,验证 `kubeconfig`文件配置正确,检查API服务器和Node节点的状态,最后排除防火墙或网络策略的干扰,并通过重启服务恢复正常连接。通过这些措施,可以有效解决与Kubernetes API服务器通信的常见问题,从而保障集群的正常运行。
    1462 17
    |
    存储 运维 监控
    深度体验阿里云系统控制台:SysOM 让 Linux 服务器监控变得如此简单
    作为一名经历过无数个凌晨三点被服务器报警电话惊醒的运维工程师,我对监控工具有着近乎苛刻的要求。记得去年那次大型活动,我们的主站流量暴增,服务器内存莫名其妙地飙升到90%以上,却找不到原因。如果当时有一款像阿里云 SysOM 这样直观的监控工具,也许我就不用熬通宵排查问题了。今天,我想分享一下我使用 SysOM 的亲身体验,特别是它那令人印象深刻的内存诊断功能。
    906 1
    |
    消息中间件 Java Kafka
    【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
    本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
    3895 1
    【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点