unix文件系统被塞满的清理策略

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:
unix 文件系统被塞满的清理策略
作者:田逸( [email]sery@163.com[/email] )from:[url]http://os.51cto.com/art/200705/47120.htm[/url]
 
尽管现在的磁盘容量越来越大,但它终究有被塞满的可能,如果遇上粗枝大叶的系统管理员,磁盘被塞满的时间将变得更短。一个unix/linux运行环境,一旦遇到某个分区(也称文件系统)被塞满,后果也许会十分糟糕我曾有过在凌晨2点起来干活的经历分区/tmp满了,导致某个守护进程不能写入磁盘而异常终止。想必其他人也有类似的情况,怎样处理和避免这样的麻烦呢?这里有些意见供大家参考。
 
先谈非技术方面的因素,简单的讲就是规章制度。Linux/unix大多是公共服务器,应该禁止上传与工作无关的私人数据。某君买了一个NAS(网络附属存储)设备,4 73G 的硬盘,本来打算做web的后台数据存储,但是,但是….后来据我所知,这个大容量磁盘不到2个月所剩空间不到 20G ,私下浏览,嘿!大部分数据是他私人的,他本来就有收藏废品的嗜好,难怪呢。因此在这个方面,制度应该严厉一些,避免同事放垃圾数据在公共空间。
 
磁盘上的数据可能随时增长,任何人不可能24小时盯着它,因此实现自动化监控手段是十分必要的,对于更大规模的网络环境,这也许是唯一的途径。下面是一个用perl写的监控磁盘容量的脚本(大宇对此有贡献):
#!/usr/bin/perl -w
# this program will check disk capacity $full and send the warning message
# to $email_address
# (set the threshold to 90 and check it in the daytime so no paging
#  is needed)
 
my $email_address = '[email]sa@yourcom.com[/email]';
my $hostname = `/sbin/ifconfig -a|grep inet|head -1|cut -f2 -d":"|cut -f1 -d" "`;
my $dmesg = `dmesg`;
chomp(my $now = `date +"%x %X"`);
my $full = 90; # the threshold to send the warning
my $warn = 95;
my $count = 0;
my ($dev,$total,$used);
 
my @df_messages = `df|grep -v proc`;
print @df_messages;
 
shift(@df_messages);
 
foreach $message (@df_messages) {
    chomp($message);
    ($dev, $total, $used, $available, $capacity, $mount) = split(/\s+/, $message);
    $capacity =~ s/(\d+)\%/$1/;
    if ($capacity > $full) {
        $available[$count] = $available;
        $capacity[$count] = $capacity;
        $mount[$count] = $mount;
        ++$count;
        $email_address = '[email]sa@yourcom.com[/email]' if ($capacity > $warn);
    }
}
if ($count > 0) {
    open(MAIL, "|/usr/sbin/sendmail -t");
    print MAIL "To: $email_address \n";
    print MAIL "Subject: Disk almost full on $hostname ($now)\n";
    print MAIL "\n";
    for ($i = 0; $i < $count; ++$i) {
        print MAIL "There are only $available[$i] KB ($capacity[$i]\% full) left on $mount[$i] \n";
    }
}
if ( $dmesg =~ m/ERROR/ )
{
       open(EMAIL, "|/usr/sbin/sendmail -t") or die "Can't fork for sendmail: $!\n";
       print EMAIL  <<_EOF_ ;
To: $email_address
subject: HARDWARE error on $hostname!!!
 
$hostname needs to be checked right now!
.
_EOF_
      close("EMAIL");
}
把这个脚本放在定时任务crontab里即可实现自动监控,只要某个分区的容量达到脚本中阀值,系统就会发送报警邮件到管理员信箱,更进一步还可设定发送手机短信报警。
知道某个分区快要被塞满的情况后,接下来的事情就是清理它了。登陆系统,然后使用命令df –h察看具体的磁盘使用情况(老一点版本的solaris不支持选项-h,请用-k这个选项),
磁盘的利用率是以百分比的方式显示的,非常直观。找到快要被塞满的分区之后,应该先着手查找占用空间大的最大的文件,然后处理这个占用空间最大的文件。这里我用一个实例(根分区/root)来演示这个过程。
 
1、   进入目录/root,执行命令 du –h | sort –n 就把当前目录下目录以及文件所占的大小按顺序排列出来了,一屏显示不完的话再用加一个管道 du –h | sort –n | more 就好了。
-bash-3.00# du -h | sort -n| more
   1K   ./.dt/appmanager
   1K   ./.dt/help
   1K   ./.dt/icons
   1K   ./.dt/tmp
……….( 省略若干行 )
914K   ./mysql- 5.0.37 /zlib
 933K   ./mysql- 5.0.37 /ndb/src/kernel/blocks/dblqh
 938K   ./mysql- 5.0.37 /scripts
  945M                     // 这个东西占太大的空间
 957K   ./mysql- 5.0.37 /extra/yassl/taocrypt
 959K   ./vsftpd- 2.0.5
1002K   ./mysql- 5.0.37 /ndb/src/common
-bash-3.00#         
   有上面的输出,我们可以知道在当前目录里有大文件,但是看不出是哪个文件。
2、   再执行命令 ls –al | grep ^- |more 就可以看见每个文件的大小。
-bash-3.00#         ls -al | grep ^-|more
-rw-------   1 root     root         810 Apr 29 09:59 .ICEauthority
-rw-------   1 root     root          98 Apr 29 09:59 .Xauthority
-rw-------   1 root     root         730 Apr 30 07:52 .bash_history
-rwxr-xr-x   1 root     root        5111 Apr 29 08:30 .dtprofile
-rw-r--r--   1 root     root          81 Apr 29 08:30 .gtkrc-1.2-gnome2
-rw-------   1 root     root           0 Apr 29 08:30 .recently-used
-rw-r--r--   1 root     root     681090961 Feb 28 12:29 10202_database_solx
86.zip
………. (省略若干)
-rw-r--r--   1 root     root     3069440 Apr 29 11:31 tar-1.16-sol10-x86-lo
cal
-rw-r--r--   1 root     root     10895360 Oct 22  2006 tar-1.16.tar
-rw-r--r--   1 root     root      155985 Jul  3  2006 vsftpd- 2.0.5 .tar.gz
-bash-3.00#  
   字体为红色的哪行就是最大文件的信息,它的文件名是10202_database_solx86.zip,再用命令du –h 10202_database_solx86.zip可直接显示它的大小为 650M
-bash-3.00#   du -h 10202_database_solx86.zip
  650M    10202_database_solx86.zip
3、移走或删除占用空间的大文件。
 
   大家看一看,找大文件是不是很简单?!当然如果使用awk这样的工具写shell脚本更是方便的法门,还有一个方法是用find加选项 –size,请大家自己去试验。

















本文转自sery51CTO博客,原文链接:http://blog.51cto.com/sery/26141 ,如需转载请自行联系原作者

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
存储 算法 Oracle
服务器数据恢复-UNIX类文件系统数据恢复可能性分析
服务器数据恢复环境: 基于UNIX系统,软件层级的数据灾难。 服务器故障: 1、存储结构出错。 2、删除数据。 3、文件系统格式化。 4、其他原因导致的数据丢失。
|
Unix Linux 数据安全/隐私保护
《Linux/UNIX OpenLDAP实战指南》——2.9 OpenLDAP控制策略
本节书摘来自异步社区《Linux/UNIX OpenLDAP实战指南》一书中的第2章,第2.9节,作者:郭大勇著,更多章节内容可以访问云栖社区“异步社区”公众号查看
1397 0
|
SQL Oracle 关系型数据库
在UNIX裸设备和文件系统之间移动ORACLE
一、关于裸设备 1.1 什么是裸设备(RAW DEVICE)        裸设备是指未创建文件系统的磁盘分区(raw partition)或逻辑卷(raw logical volume),应用程序直接通过一 个字符设备驱动程序对它进行访问。
1071 0
|
关系型数据库 Unix Linux
UNIX系统被删文件的恢复策略(ext3被删除的恢复)
http://linux.sheup.com/linux/40/linux30789.htm   http://hi.
962 0