Linux系统资源限制

简介: Linux系统资源限制 1. 最大文件数 查看进程允许打开的最大文件句柄数:ulimit -n 查看进程所占的文件描述符: lsof -p xxx | wc -l 设置进程能打开的最大文件句柄数:ulimit -n xxx 2. ulimit -n vs. file-max ? 简单的说, ulimit -n控制进程级别能够打开的文件句柄的数量, 而max-file表示系统级别的能够打开的文件句柄的数量。

Linux系统资源限制

1. 最大文件数

查看进程允许打开的最大文件句柄数:ulimit -n

查看进程所占的文件描述符: lsof -p xxx | wc -l

设置进程能打开的最大文件句柄数:ulimit -n xxx

2. ulimit -n vs. file-max ?

简单的说, ulimit -n控制进程级别能够打开的文件句柄的数量, 而max-file表示系统级别的能够打开的文件句柄的数量。

ulimit -n的设置在重启机器后会丢失,因此需要修改limits.conf的限制,limits.conf中有两个值softhardsoft代表只警告,hard代表真正的限制

Cat /etc/security/limits.conf代码 

*               soft    nofile          150000 

*               hard    nofile          150000 

这里我们把softhard设置成一样的。

cat /proc/sys/fs/file-max”,或“sysctl -a | grep fs.file-max”查看系统能打开的最大文件数。查看和设置例如:

Shell代码 

[root@vm014601 ~]# sysctl -a |grep fs.file-max 

fs.file-max = 200592 

[root@vm014601 ~]# echo "fs.file-max = 2005920" >> /etc/sysctl.conf  

[root@vm014601 ~]# sysctl -p 

[root@vm014601 ~]# cat /proc/sys/fs/file-max                         

2005920 

file-nr是只读文件,第一个数代表了目前分配的文件句柄数;第二个数代表了系统分配的最大文件句柄数;比如线上系统查看结果:

Shell代码 

# cat /proc/sys/fs/file-max 

1106537 

# cat /proc/sys/fs/file-nr      

1088  0       1106537 

# lsof | wc -l 

1506 

可以看到file-nrlsof的值不是很一致,但是数量级一致。为什么会不一致?原因如下:

写道

lsof是列出系统所占用的资源,但是这些资源不一定会占用打开文件号的.

比如共享内存,信号量,消息队列,内存映射等,虽然占用了这些资源,但不占用打开文件号。

我曾经在前端机上很长时间都无法得到lsof | wc -l 的结果,这个时候可以通过file-nr粗略的估算一下打开的文件句柄数。

3. sysckernel.threads-max

指定了内核所能使用的线程(所有进程打开线程之和)的最大数目,通过命令 “cat /proc/sys/kernel/threads-max” 查看当前值。查看和设置例如:

Shell代码 

sysctl -a | grep threads 

vm.nr_pdflush_threads = 2 

kernel.threads-max = 229376 

本厂系统配置允许打开的线程数 > 229k

如果此值设小了会导致:-bash: fork: Resource temporarily unavailable

4. 为什么有限制?

为什么Linux内核对文件句柄数、线程和进程的最大打开数进行了限制?以及如果我们把它调的太大,会产生什么样的后果?

原因1 - 资源问题:the operating system needs memory to manage each open fileand memory is a limited resource - especially on embedded systems.

原因2 - 安全问题:if there were no limitsa userland software would be able to create files endlessly until the server goes down.

最主要的是资源问题,为防止某一单一进程打开过多文件描述符而耗尽系统资源,对进程打开文件数做了限制。

5. 设置成多少比较合适?

网上有朋友给了估算公式:file-max number = RAM size/10k

I am not a kernel expert, but as far as I can seethe default for file-max seems to be RAM size divided by 10k. As the real memory used per file handler should be much smaller (size of struct file plus some driver dependent memory)this seems a quite conservative limit. jofel Apr 19 at 16:43

那么一个12G RAM 的前端机可以打开接近1M的文件。真的可以打开1百万个文件吗?

为了试验,基于MINA写了一个NIO服务,在一个服务上创建了50万活跃率约为1%TCP连接。观察内存使用 < 4.5G可以粗略认为单个socket连接使用内存小于10K。因此可以用上面的公式来简单估算。

原文

http://maoyidao.iteye.com/blog/1744309

目录
相关文章
|
6天前
|
运维 Ubuntu Linux
Linux系统之ncdu命令的基本使用
【8月更文挑战第8天】Linux系统之ncdu命令的基本使用
13 2
Linux系统之ncdu命令的基本使用
|
1天前
|
Linux Shell
Linux系统
是对Linux系统进行管理的命令。对于Linux系统来说,无论是中央处理器、内存、磁盘驱动器、键盘、鼠标,还是用户等都是文件,Linux系统管理的命令是它正常运行的核心,与之前的DOS命令类似。linux命令在系统中有两种类型:内置Shell命令和Linux命令。
|
10天前
|
网络协议 Unix Linux
linux开源系统
linux是一种免费使用和自由传播的类UNIX操作系统,其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布。它主要受到Minix和Unix思想的启发,是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux支持32位和64位硬件,能运行主要的Unix工具软件、应用程序和网络协议。由于Linux是开源的,因此全世界的Linux爱好者都可以对Linux进行修改和再发布。‌
|
10天前
|
网络协议 Unix Linux
linux开源系统
linux是一种免费使用和自由传播的类UNIX操作系统,其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布。它主要受到Minix和Unix思想的启发,是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux支持32位和64位硬件,能运行主要的Unix工具软件、应用程序和网络协议。由于Linux是开源的,因此全世界的Linux爱好者都可以对Linux进行修改和再发布。‌
|
8天前
|
存储 安全 Unix
揭秘Linux配置之谜:为何重启成常态?动态刷新配置竟成奢望?一场关于系统稳定性与灵活性的较量!
【8月更文挑战第12天】Linux以其卓越性能在各领域广泛应用,但配置更新需重启而非动态刷新。这源于系统架构的静态设计、配置管理机制的局限、安全考量及性能优化需求。配置文件存储于磁盘,改动不自动反映至内存;服务管理依赖systemd等初始化系统,启动时加载配置而不主动监测变更;动态刷新可能引入安全风险;频繁更新配置亦影响性能。开发者可通过信号或IPC机制实现在特定信号下重新加载配置。
22 4
|
5天前
|
存储 NoSQL Java
使用redis进行手机验证码的验证、每天只能发送三次验证码 (redis安装在虚拟机linux系统中)
该博客文章展示了如何在Linux虚拟机上使用Redis和Jedis客户端实现手机验证码的验证功能,包括验证码的生成、存储、验证以及限制每天发送次数的逻辑,并提供了测试结果截图。
使用redis进行手机验证码的验证、每天只能发送三次验证码 (redis安装在虚拟机linux系统中)
|
5天前
|
Linux
虚拟机安装Linux系统的网络配置
该博客文章提供了解决虚拟机中Linux系统网络问题的多种方法,包括重置网络服务、修改网络配置文件、使用不同网络模式等,以确保虚拟机能够成功连接到网络。
虚拟机安装Linux系统的网络配置
|
5天前
|
监控 Linux Shell
"揭秘!一键掌控Linux服务器健康的秘密武器——超实用系统检查脚本,让你的服务器稳如老狗,告别宕机烦恼!"
【8月更文挑战第14天】服务器宕机或资源耗尽会严重影响业务。为此,你需要一个Linux系统检查脚本来守护服务器健康。它可以自动检测潜在问题如磁盘满载、内存泄漏等,避免服务中断。脚本应包括磁盘空间、内存/CPU使用、系统时间准确性、关键服务状态及系统日志分析等检查项。通过编写并定期运行这样的脚本,可以显著提高服务器的稳定性和可靠性。
17 1
|
10天前
|
监控 Linux 测试技术
什么是Linux系统的网络参数?
【8月更文挑战第10天】什么是Linux系统的网络参数?
29 5
|
8天前
|
网络协议 Unix Linux
linux开源系统
linux是一种免费使用和自由传播的类UNIX操作系统,其内核由林纳斯·本纳第克特·托瓦兹于1991年10月5日首次发布。它主要受到Minix和Unix思想的启发,是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux支持32位和64位硬件,能运行主要的Unix工具软件、应用程序和网络协议。由于Linux是开源的,因此全世界的Linux爱好者都可以对Linux进行修改和再发布。‌