关于linux系统调优

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

背景:最近要写一部分关于linux调优的文档,此处只列出一些常用调优选项,随时备查。参考了南非蚂蚁的文档。


1、关注ulimit命令

ulimit n(最大打开文件数)

常见案例日志:java.net.SocketException: Too many openfiles

相关配置文件:

/etc/security/limits.conf

/etc/security/limits.d/90-nproc.conf(centos6.x版本)

*        soft    nofile         65536

*        hard    nofile         65536

ulimit  -u(最大用户数)

*         soft    nproc     65536

root      soft    nproc     unlimited

 

2、系统内核参数调优

常见案例日志:kernel: ip_conntrack: table full, droppingpacket

ip_conntrack_max参数

/proc/sys/net/ipv4/netfilter/ip_conntrack_max  或者

/proc/sys/net/ipv4/ip_conntrack_max (centos5.x)

/proc/sys/net/netfilter/nf_conntrack_max(centos6.x)

 

在/etc/sysctl.conf加入

net.ipv4.netfilter.ip_conntrack_max = 655360(centos5.x)

net.nf_conntrack_max = 100000(centos6.x)

 

swappiness参数

 

表示使用swap的概率,此值越大,表示使用swap的概率越大。推荐配置如下:

查看目前配置:cat /proc/sys/vm/swappiness

添加如下内容到/etc/sysctl.conf

vm.swappiness=10

表示当内存使用率超过(100-10)90%时,才开始使用swap。


使配置文件生效

sysctl -p


我们线上web服务器配置参考(每天3亿的量)

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_fin_timeout = 10

 

net.ipv4.tcp_max_syn_backlog = 20000

net.core.netdev_max_backlog = 32768

net.core.somaxconn = 32768

 

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

 

net.ipv4.tcp_timestamps = 0

net.ipv4.tcp_synack_retries = 2

net.ipv4.tcp_syn_retries = 2

net.ipv4.tcp_syncookies = 1

 

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_tw_reuse = 1

 

net.ipv4.tcp_mem = 94500000 915000000 927000000

net.ipv4.tcp_max_orphans = 3276800

 

net.ipv4.tcp_fin_timeout = 10

net.ipv4.tcp_keepalive_time = 120

net.ipv4.ip_local_port_range = 1024 65535

net.ipv4.tcp_max_tw_buckets = 80000

net.ipv4.tcp_keepalive_time = 120

net.ipv4.tcp_keepalive_intvl = 15

net.ipv4.tcp_keepalive_probes = 5

 

net.ipv4.conf.lo.arp_ignore = 1

net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.all.arp_announce = 2

 

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_fin_timeout = 10

 

net.ipv4.tcp_max_syn_backlog = 20000

net.core.netdev_max_backlog = 32768

net.core.somaxconn = 32768

 

net.core.wmem_default = 8388608

net.core.rmem_default = 8388608

net.core.rmem_max = 16777216

net.core.wmem_max = 16777216

 

net.ipv4.tcp_timestamps = 0

net.ipv4.tcp_synack_retries = 2

net.ipv4.tcp_syn_retries = 2

 

 

net.ipv4.tcp_mem = 94500000 915000000 927000000

net.ipv4.tcp_max_orphans = 3276800

 

net.ipv4.ip_local_port_range = 1024 65535

net.ipv4.tcp_max_tw_buckets = 500000

net.ipv4.tcp_keepalive_time = 60

net.ipv4.tcp_keepalive_intvl = 15

net.ipv4.tcp_keepalive_probes = 5

net.nf_conntrack_max = 2097152 



3.精简系统服务和开机进程

原则:只开启需要的。

线上服务器建议开启的服务

crond,network,syslog,sshd、iptables、udev-post、sysstat

快捷开启方法:

先关闭所有

for serv in `chkconfig --list|grep 3:on|awk '{print $1}'`;do chkconfig--level 3 $serv off;done

然后开启需要的服务:

for serv in `crond network syslog sshd iptables udev-post sysstat`;dochkconfig --level 3 $serv on;done

4、可删除的系统用户和组

#删除不必要的用户

userdel adm

userdel lp

userdel sync

userdel shutdown

userdel halt

userdel news

userdel uucp

userdel video

userdel games

userdel gopher

userdel ftp

#删除不必要的群组

groupdel adm

groupdel lp

groupdel news

groupdel uucp

groupdel games

groupdel dip


也可以直接用for循环来删除.

for i in adm lp sync shutdown halt news uucp video games gopher ftp; do userdel $i;done

for i in adm lp sync shutdown halt news uucp video games gopher ftp; do groupdel $i;done


5.Linux下性能评估工具汇总

Cpu:  vmstat  iostat uptime

  Vmstat 2 3

2秒更新一次cpu输出信息,输出3次。

 

 

  Iostat–c 2 3 (需要安装sysstat包,参数-c显示CPU状态, -d显示磁盘使用状态)

2秒更新一次cpu输出信息,输出3次。

 

 

  Uptime

系统现在时间、上次开机到现在运行多长时间、目前登录用户数、系统在1515分钟内的平均负载.

 

 

内存: freesar/pidstat

 

Free –m

M为单位显示当前内存的使用状况。

 

sar/pidstat(它们有三个公用参数: -u 显示cpu信息; -r显示内存信息;-d显示磁盘信息)

 

sar –u  3  5

输出cpu 3秒内的状态,输出5.

Pidstat –r –p 1 3 5

输出进程号是1的内存3秒内的状态,输出5.

 

磁盘 iostat  pidstatsar

Iostat  -d 2 3

2秒更新一次磁盘输出信息,输出3次。

 

Pidstat –d –p 556 3 5

输出进程号是556的磁盘3秒内的状态,输出5.

 

Sar –d 3 5

输出磁盘3秒内的状态,输出5.

 

网络ping   netstat mtr/traceroute(yum install mtr traceroute)dignslookup

 

 

系统性能的一个参考表

wKioL1dEFtnjGRs7AAFGyCpY1wU473.png

 

 6. 文件系统的选择


Ext2:linux下标准的文件系统,无日志记录(inode)功能。

Ext3:在ext2的基础上增加了日志记录功能(inode),仅支持32000个子目录.

Ext4ext3的后续升级版本,内核2.6.28开始支持,无限子目录支持,快速fsck

Xfs: 高性能的文件系统,内核3.10开始默认支持。

 

建议:读操作频繁,小文件众多,首选ext4,接下来是xfs,ext3.

写操作频繁,首选xfs,接下来是ext4ext3.

对性能要求不高,对数据安全要求不高的业务,ext3可以选择。

 


本文转自pizibaidu 51CTO博客,原文链接:http://blog.51cto.com/pizibaidu/1775433,如需转载请自行联系原作者

 

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
3月前
|
Ubuntu Linux Anolis
Linux系统禁用swap
本文介绍了在新版本Linux系统(如Ubuntu 20.04+、CentOS Stream、openEuler等)中禁用swap的两种方法。传统通过注释/etc/fstab中swap行的方式已失效,现需使用systemd管理swap.target服务或在/etc/fstab中添加noauto参数实现禁用。方法1通过屏蔽swap.target适用于新版系统,方法2通过修改fstab挂载选项更通用,兼容所有系统。
228 3
Linux系统禁用swap
|
3月前
|
Linux
Linux系统修改网卡名为eth0、eth1
在Linux系统中,可通过修改GRUB配置和创建Udev规则或使用systemd链接文件,将网卡名改为`eth0`、`eth1`等传统命名方式,适用于多种发行版并支持多网卡配置。
341 3
|
4月前
|
Ubuntu Linux
计算机基础知识:linux系统怎么安装?
在虚拟机软件中创建一个新的虚拟机,并选择相应操作系统类型和硬盘空间大小等参数。将下载的 ISO 镜像文件加载到虚拟机中。启动虚拟机,进入安装界面,并按照步骤进行安装。安装完成后,可以在虚拟机中使用 Linux 系统。
|
4月前
|
存储 Ubuntu Linux
「正点原子Linux连载」第二章Ubuntu系统入门
在图2.8.2.4中,我们使用命令umount卸载了U盘,卸载以后当我们再去访问文件夹/mnt/tmp的时候发现里面没有任何文件了,说明我们卸载成功了。
|
Ubuntu Linux 网络安全
Linux系统初始化脚本
一款支持Rocky、CentOS、Ubuntu、Debian、openEuler等主流Linux发行版的系统初始化Shell脚本,涵盖网络配置、主机名设置、镜像源更换、安全加固等多项功能,适配单/双网卡环境,支持UEFI引导,提供多版本下载与持续更新。
303 0
Linux系统初始化脚本
|
4月前
|
运维 Linux 开发者
Linux系统中使用Python的ping3库进行网络连通性测试
以上步骤展示了如何利用 Python 的 `ping3` 库来检测网络连通性,并且提供了基本错误处理方法以确保程序能够优雅地处理各种意外情形。通过简洁明快、易读易懂、实操性强等特点使得该方法非常适合开发者或系统管理员快速集成至自动化工具链之内进行日常运维任务之需求满足。
238 18
|
3月前
|
安全 Linux Shell
Linux系统提权方式全面总结:从基础到高级攻防技术
本文全面总结Linux系统提权技术,涵盖权限体系、配置错误、漏洞利用、密码攻击等方法,帮助安全研究人员掌握攻防技术,提升系统防护能力。
286 1
|
3月前
|
监控 安全 Linux
Linux系统提权之计划任务(Cron Jobs)提权
在Linux系统中,计划任务(Cron Jobs)常用于定时执行脚本或命令。若配置不当,攻击者可利用其提权至root权限。常见漏洞包括可写的Cron脚本、目录、通配符注入及PATH变量劫持。攻击者通过修改脚本、创建恶意任务或注入命令实现提权。系统管理员应遵循最小权限原则、使用绝对路径、避免通配符、设置安全PATH并定期审计,以防范此类攻击。
1012 1
|
4月前
|
缓存 监控 Linux
Linux系统清理缓存(buff/cache)的有效方法。
总结而言,在大多数情形下你不必担心Linux中buffer与cache占用过多内存在影响到其他程序运行;因为当程序请求更多内存在没有足够可用资源时,Linux会自行调整其占有量。只有当你明确知道当前环境与需求并希望立即回收这部分资源给即将运行重负载任务之前才考虑上述方法去主动干预。
1584 10
|
4月前
|
安全 Linux 数据安全/隐私保护
为Linux系统的普通账户授予sudo访问权限的过程
完成上述步骤后,你提升的用户就能够使用 `sudo`命令来执行管理员级别的操作,而无需切换到root用户。这是一种更加安全和便捷的权限管理方式,因为它能够留下完整的权限使用记录,并以最小权限的方式工作。需要注意的是,随意授予sudo权限可能会使系统暴露在风险之中,尤其是在用户不了解其所执行命令可能带来的后果的情况下。所以在配置sudo权限时,必须谨慎行事。
589 0