Linux最大文件打开数使用经验详解

简介:

首先普及几个知识:

  1. Linux下一切都是文件,包括输入输出设备、网络连接、socket、管道等

  2. 与文件打开数最相关的是文件描述符(有的人喜欢称作文件标识符,英文为file descriptor),文件打开数的实质就是文件描述符的数量

  3. 文件打开数的多少取决于系统种类、内存大小,int(语言关键字,如C99的int)长度(非负整数),以及系统管理员的设定

  4. 最大文件打开数是针对一个进程而言,即一个进程能打开的文件句柄数目是有限的,不能超过最大文件打开数

  5. ulimit命令只对当前shell有效,因此在编写Shell脚本时,如果需要并能控制文件最大打开数,则先执行“ulimit -n 文件打开数”命令,在去执行下面的内容

  6. 在Linux中被打开的文件描述符存放在/proc/PID/fd/,其中PID就是process identifier

除了需要注意,还需要注意ulimit -v unlimited,最大可用的虚拟内存(The maximum amount of virtual memory available to the shell and, on some systems, to its children)

最大文件打开数的全局设置:

在CentOS和Ubuntu中ulimit是一个bash里面的内置命令,就像if、shift一样,并不是一个单独的命令,因此在Ubuntu中通常会遇到有人使用sudo ulimit -n 65535命令时遇到找不到这个命令的提示(也许是sudo的bug),

ulimit提供shell或者进程可用资源的控制,这些可用资源包括但不限于最大文件打开数、最大可用虚拟内存、最大进程数量、socket buffer等,它有两种限制等级hard和soft,分别对应的参数开关是-H和-S,hard限制使得非root用户不得增加(超过)设定的值,soft限制允许非root用户增加到hard的限制值,通常一般会将hard值和soft值设置成一个相同的值,命令是ulimit -HSn 65535。

但如文章开头提到的第5点,ulimit只对当前shell有效,要想在任何地方生效,除了先执行ulimit命令以外就是更改配置文件,也就是更改最大文件打开数的全局设置,方法是编辑/etc/security/limits.conf文件,添加以下两行,重新启动系统生效。:

1
2
*               hard   nofile            65535
*               soft   nofile            65535

其中,“*”表示所有用户都生效,重启后,在任何地方执行ulimit -n就会显示65535。

一些与文件打开数相关的命令以及其他相关命令:

  1. 查看当前系统的文件打开总数(Maximum number of opened files):cat /proc/sys/fs/file-max

  2. 查看当前进程的文件打开数:lsof -p 16075 | wc –l

  3. 查看当前端口的文件打开数:lsof -i:80 | wc -l

  4. 在使用lsof之前需要注意,lsof不适合查看一个连接数很高或者数量动态变化过快的进程或端口

  5. 查看某个进程使用的文件:lsof -p 16075

  6. 查看某个端口使用的文件:lsof -i:80

  7. 查看使用某个文件的用户和程序:fuser -v /bin/bash

  8. Markup一个有用的分类知识的网站:https://en.wikipedia.org/wiki/Category:Unix_file_system_technology

--end--





本文转自 urey_pp 51CTO博客,原文链接:http://blog.51cto.com/dgd2010/1676843,如需转载请自行联系原作者


相关文章
|
Linux 开发工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
|
存储 数据管理 Linux
区分Linux中.tar文件与.tar.gz文件的不同。
总之,".tar"文件提供了一种方便的文件整理方式,其归档但不压缩的特点适用于快速打包和解压,而".tar.gz"文件通过额外的压缩步骤,尽管处理时间更长,但可以减小文件尺寸,更适合于需要节约存储空间或进行文件传输的场景。用户在选择时应根据具体需求,考虑两种格式各自的优劣。
2059 13
|
安全 Linux
Linux赋予文件000权限的恢复技巧
以上这些步骤就像是打开一扇锁住的门,步骤看似简单,但是背后却有着严格的逻辑和规则。切记,在任何时候,变更文件权限都要考虑安全性,不要无谓地放宽权限,那样可能
476 16
|
Linux
【Linux】 Linux文件I/O常见操作技巧
以上就是Linux文件I/O操作的一些技巧,接纳它们,让它们成为你在Linux世界中的得力伙伴,工作会变得轻松许多。不过记住,技巧的运用也需要根据实际情况灵活掌握,毕竟,最适合的才是最好的。
376 28
|
存储 Linux 数据处理
深入剖析Linux中一切即文件的哲学和重定向的机制
在计算机的奇妙世界中,Linux的这套哲学和机制减少了不同类型资源的处理方式,简化了抽象的概念,并蕴藏着强大的灵活性。就像变戏法一样,轻轻松松地在文件、程序与设备之间转换数据流,标准输入、输出、错误流就在指尖舞动,程序的交互和数据处理因此变得既高效又富有乐趣。
252 4
|
Ubuntu Linux
"unzip"命令解析:Linux下如何处理压缩文件。
总的来说,`unzip`命令是Linux系统下一款实用而方便的ZIP格式文件处理工具。本文通过简明扼要的方式,详细介绍了在各类Linux发行版上安装 `unzip`的方法,以及如何使用 `unzip`命令进行解压、查看和测试ZIP文件。希望本文章能为用户带来实际帮助,提高日常操作的效率。
3682 12
|
Linux Shell
Linux系统下快速批量创建和删除文件的方法
总的来说,使用shell脚本来批量处理文件是一种非常强大的工具,只要你愿意花时间学习和实践,你会发现它能大大提高你的工作效率。
795 19
|
监控 Linux
Linux基础:文件和目录类命令分析。
总的来说,这些基础命令,像是Linux中藏匿的小矮人,每一次我们使用他们,他们就把我们的指令准确的传递给Linux,让我们的指令变为现实。所以,现在就开始你的Linux之旅,挥动你的命令之剑,探索这个充满神秘而又奇妙的世界吧!
314 19
linux文件重命名命令
本指南介绍Linux文件重命名方法,包括单文件操作的`mv`命令和批量处理的`rename`命令。`mv`可简单更改文件名并保留扩展名,如`mv old_file.txt new_name.txt`;`rename`支持正则表达式,适用于复杂批量操作,如`rename 's/2023/2024/' *.log`。提供实用技巧如大小写转换、数字序列处理等,并提醒覆盖风险与版本差异,建议使用`-n`参数预览效果。
|
缓存 Linux
如何创建Linux交换文件?Linux交换文件最新创建方法
Swap是Linux中的虚拟内存空间,用于在物理内存不足时将非活动进程移至磁盘,从而优化活动进程的性能。通过创建交换文件(如1GB),可灵活调整交换空间而无需重新分区。步骤包括:使用`fallocate`或`dd`创建文件、设置权限 (`chmod 600`)、格式化 (`mkswap`)、启用交换 (`swapon`)、修改`/etc/fstab`以持久化配置,以及调整`vm.swappiness`值(默认60,建议从10开始)来平衡内存与交换的使用。最后通过`swapon -s`检查状态并重启生效。此方法适用于VPS和专用服务器,需以root用户操作。
1236 2