Linux性能调优 —— 内存篇

简介: 大多数计算机用的主存都是动态随机访问内存(DRAM),只有内核才可以直接访问物理内存。Linux内核给每个进程提供了一个独立的虚拟地址空间,并且这个地址空间是连续的。这样进程就可以很方便的访问内存(虚拟内存)。

Linux内存的工作原理


内存映射的概念


 大多数计算机用的主存都是动态随机访问内存(DRAM),只有内核才可以直接访问物理内存。Linux内核给每个进程提供了一个独立的虚拟地址空间,并且这个地址空间是连续的。这样进程就可以很方便的访问内存(虚拟内存)。


 虚拟地址空间的内部分为内核空间和用户空间两部分,不同字长的处理器地址空间的范围不同。32位系统内核空间占用1G,用户空间占3G。64位系统内核空间和用户空间都是128T,分别占内存空间的最高和最低处,中间部分为未定义。


 并不是所有的虚拟内存都会分配物理内存,只有实际使用的才会。分配后的物理内存通过内存映射管理。为了完成内存映射,内核为每个进程都维护了一个页表,记录虚拟地址和物理地址的映射关系。页表实际存储在CPU的内存管理单元MMU中,处理器可以直接通过硬件找出要访问的内存。


 当进程访问的虚拟地址在页表中查不到时,系统会产生一个缺页异常,进入内核空间分配物理内存,更新进程页表,进行页面置换,再返回用户空间恢复进程的运行。


 MMU以页为单位管理内存,页大小4KB。为了解决页表项过多问题Linux提供了多级页表和HugePage的机制。


 Linux还使用内存中的一部分来存储文件系统和块设备的缓存,以加速对文件和块设备的访问。这被称为文件系统缓存或页缓存。


 Linux可以将不常用的内存页面交换到磁盘上的交换分区(swap partition)中,以释放物理内存供其他进程使用。交换空间的使用是在物理内存不足时的一种手段,但过度使用交换会降低性能。


虚存空间分布


 用户空间内存从低到高是五种不同的内存段:


 只读段 代码和常量等


 数据段 全局变量等


 堆 动态分配的内存,从低地址开始向上增长


 文件映射 动态库、共享内存等,从高地址开始向下增长


 栈 包括局部变量和函数调用的上下文等,栈的大小是固定的。一般8MB


内存分配与回收


分配


 针对小块内存(<128K),通过移动堆顶位置来分配。内存释放后不立即归还内存,而是被缓存起来。


 针对大块内存(>128K),直接用内存映射来分配,即在文件映射段找一块空闲内存分配。


 前者的缓存可以减少缺页异常的发生,提高内存访问效率。但是由于内存没有归还系统,在内存工作繁忙时,频繁的内存分配/释放会造成内存碎片。


 后者在释放时直接归还系统,所以每次都会发生缺页异常。在内存工作繁忙时,频繁内存分配会导致大量缺页异常,使内核管理负担增加。


回收


 内存紧张时,系统通过以下方式来回收内存:


 · 回收缓存:LRU算法回收最近最少使用的内存页面;

 · 回收不常访问内存:把不常用的内存通过交换分区写入磁盘

 · 杀死进程


内存查看与分析


查看内存使用情况


命令:free

 输入以下命令:


free -h


  输出如下:


              总计         已用        空闲      共享    缓冲/缓存    可用
内存:        62Gi       9.2Gi        22Gi       1.4Gi        31Gi        51Gi
交换:       2.0Gi       1.9Gi        62Mi


总计 (Total):物理内存的总容量。在这个示例中,系统总共有62 GB的物理内存。


已用 (Used):当前已被系统和进程使用的内存量。在这个示例中,已经使用了9.2 GB的内存。


空闲 (Free):当前未被使用的内存量。在这个示例中,有22 GB的内存是空闲的。


共享 (Shared):被多个进程共享的内存量。在这个示例中,有1.4 GB的内存被多个进程共享。


缓冲/缓存 (Buffer/Cache):用于文件系统缓存和磁盘I/O缓冲的内存量。在这个示例中,有31 GB的内存被用于缓冲和缓存。


可用 (Available):系统估计可供新进程使用的内存量,包括未来可能被释放的内存。在这个示例中,有51 GB的内存被估计为可用。


 关于交换空间:


交换总量 (Total Swap):系统中交换空间的总容量。在这个示例中,系统总共有2.0 GB的交换空间。


已用交换 (Used Swap):当前已经在交换空间中使用的量。在这个示例中,已经使用了1.9 GB的交换空间。


剩余交换 (Free Swap):剩余未被使用的交换空间量。在这个示例中,还有62 MB的交换空间是空闲的。


 总体来说,系统的物理内存使用情况看起来还相对充裕,因为大部分内存都是空闲的,而且有相当数量的缓冲和缓存可供使用。交换空间也仅有少量被使用,这是良好的迹象,因为过度使用交换空间可能会影响性能。如果系统性能仍然良好,那么当前的内存和交换空间使用情况可能是可接受的。但是,如果系统出现性能问题,可能需要进一步分析进程和服务的内存使用情况,以确定是否需要采取进一步的措施,如优化或增加内存。


命令:vmstat


 输入以下命令,表示每隔5秒统计一次:


vmstat 5

  输出如下:



 结果说明


r 表示运行队列(就是说多少个进程真的分配到CPU),我测试的服务器目前CPU比较空闲,没什么程序在跑,当这个值超过了CPU数目,就会出现CPU瓶颈了。这个也和top的负载有关系,一般负载超过了3就比较高,超过了5就高,超过了10就不正常了,服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大,表示你的CPU很繁忙,一般会造成CPU使用率很高。


b 表示阻塞的进程,这个不多说,进程阻塞,大家懂的。


swpd 虚拟内存已使用的大小,如果大于0,表示你的机器物理内存不足了,如果不是程序内存泄露的原因,那么你该升级内存了或者把耗内存的任务迁移到其他机器。


free 空闲的物理内存的大小。


buff Linux/Unix系统是用来存储,目录里面有什么内容,权限等的缓存


cache cache直接用来记忆我们打开的文件,给文件做缓冲,这里是Linux/Unix的聪明之处,把空闲的物理内存的一部分拿来做文件和目录的缓存,是为了提高 程序执行的性能,当程序使用内存时,buffer/cached会很快地被使用。


si 每秒从磁盘读入虚拟内存的大小,如果这个值大于0,表示物理内存不够用或者内存泄露了,要查找耗内存进程解决掉。我的机器内存充裕,一切正常。


so 每秒虚拟内存写入磁盘的大小,如果这个值大于0,同上。


bi 块设备每秒接收的块数量,这里的块设备是指系统上所有的磁盘和其他块设备,默认块大小是1024byte,我本机上没什么IO操作,所以一直是0,但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s,磁盘写入速度差不多140M每秒


bo 块设备每秒发送的块数量,例如我们读取文件,bo就要大于0。bi和bo一般都要接近0,不然就是IO过于频繁,需要调整。


in 每秒CPU的中断次数,包括时间中断


cs 每秒上下文切换次数,例如我们调用系统函数,就要进行上下文切换,线程的切换,也要进程上下文切换,这个值要越小越好,太大了,要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中,我们一般做性能测试时会进行几千并发甚至几万并发的测试,选择web服务器的进程可以由进程或者线程的峰值一直下调,压测,直到cs到一个比较小的值,这个进程和线程数就是比较合适的值了。系统调用也是,每次调用系统函数,我们的代码就会进入内核空间,导致上下文切换,这个是很耗资源,也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换,导致CPU干正经事的时间少了,CPU没有充分利用,是不可取的。


us 用户CPU时间,我曾经在一个做加密解密很频繁的服务器上,可以看到us接近100,r运行队列达到80(机器在做压力测试,性能表现不佳)。


sy 系统CPU时间,如果太高,表示系统调用时间长,例如是IO操作频繁。


id 空闲CPU时间,一般来说,id + us + sy = 100,一般我认为id是空闲CPU使用率,us是用户CPU使用率,sy是系统CPU使用率。


wt 等待IO CPU时间


命令:top


 输入以下命令,随后再输入M表示按照内存占用率排序:


top


  输出如下:



  从上图可以发现,内存占用率较高的是jsvcmysqljsvc可能并不知道是个什么命令,所以我们进一步分析单个进程。


分析单个进程


命令:ps -p


  查看进程1180的运行信息:


ps -p 1180 -o pid,ppid,%cpu,%mem,cmd


  输出如下:



  cmd表示查看这个进程的执行命令,最终锁定1180进程是tomcat的守护进程。

相关文章
|
9月前
|
存储 缓存 网络协议
阿里云内存型实例规格性能、价格、适用场景与选型指南参考
阿里云服务器ECS(Elastic Compute Service)提供了多样化的内存型实例规格族,专为需要高性能内存资源的应用场景设计。从最新的r8a系列到经过优化的re6p系列,阿里云内存型实例旨在提供稳定、高效且安全的计算环境。这些实例不仅具备强大的计算性能与内存配比,还通过支持ESSD云盘和高效网络协议,显著提升了存储I/O能力和网络带宽,适用于大数据分析、高性能数据库、内存密集型应用等多种场景。本文将详细解析阿里云ECS中的多个内存型实例规格族,包括它们的核心特点、适用场景、实例规格及具体指标数据,为用户在选型时提供参考。
阿里云内存型实例规格性能、价格、适用场景与选型指南参考
|
5月前
|
缓存 监控 Linux
Linux内存问题排查命令详解
Linux服务器卡顿?可能是内存问题。掌握free、vmstat、sar三大命令,快速排查内存使用情况。free查看实时内存,vmstat诊断系统整体性能瓶颈,sar实现长期监控,三者结合,高效定位并解决内存问题。
457 0
Linux内存问题排查命令详解
|
5月前
|
消息中间件 存储 关系型数据库
千亿消息“过眼云烟”?Kafka把硬盘当内存用的性能魔法,全靠这一手!
Apache Kafka 是由 LinkedIn 开发并捐赠给 Apache 基金会的分布式消息队列系统,具备高吞吐、可扩展和容错能力。其核心设计围绕主题、分区、分段和偏移量展开,通过顺序写入磁盘和 Page Cache 提升性能,广泛应用于大数据实时处理场景。
226 0
|
8月前
|
存储 缓存 分布式计算
高内存场景必读!阿里云r7/r9i/r8y/r8i实例架构、性能、价格多维度对比
阿里云针对高性能需求场景,一般会在活动中推出内存型r7、内存型r9i、内存型r8y和内存型r8i这几款内存型实例规格的云服务器。相比于活动内的经济型e和通用算力型u1等实例规格,这些内存型实例在性能上更为强劲,尤其适合对内存和计算能力有较高要求的应用场景。这些实例规格的云服务器在处理器与内存的配比上大多为1:8,但它们在处理器架构、存储性能、网络能力以及安全特性等方面各有千秋,因此适用场景也各不相同。本文将为大家详细介绍内存型r7、r9i、r8y、r8i实例的性能、适用场景的区别以及选择参考。
|
7月前
|
存储 弹性计算 固态存储
阿里云服务器配置费用整理,支持一万人CPU内存、公网带宽和存储IO性能全解析
要支撑1万人在线流量,需选择阿里云企业级ECS服务器,如通用型g系列、高主频型hf系列或通用算力型u1实例,配置如16核64G及以上,搭配高带宽与SSD/ESSD云盘,费用约数千元每月。
717 0
|
弹性计算 安全 数据库
【转】云服务器虚拟化内存优化指南:提升性能的7个关键策略
作为云计算服务核心组件,虚拟化内存管理直接影响业务系统性能表现。本文详解了内存优化方案与技术实践,助您降低30%资源浪费。
254 0
【转】云服务器虚拟化内存优化指南:提升性能的7个关键策略
|
9月前
|
缓存 Linux 数据安全/隐私保护
Linux环境下如何通过手动调用drop_caches命令释放内存
总的来说,记录住“drop_caches” 命令并理解其含义,可以让你在日常使用Linux的过程中更加娴熟和自如。
1476 23
|
9月前
|
存储 分布式计算 安全
阿里云服务器内存型实例怎么选?r7/r8y/r8i实例性能、适用场景与选择参考
在选择阿里云服务器时,针对内存密集型应用和数据库应用,内存型实例因其高内存配比和优化的性能表现,成为了众多用户的热门选择。在目前阿里云的活动中,内存型实例主要有内存型r7、内存型r8y和内存型r8i实例可选。为了帮助大家更好地了解这三款实例的区别,本文将详细对比它们的实例规格、CPU、内存、计算、存储、网络等方面的性能,并附上活动价格对比,以便用户能够全面了解它们之间的不同,以供选择和参考。
|
11月前
|
监控 Linux Python
Linux系统资源管理:多角度查看内存使用情况。
要知道,透过内存管理的窗口,我们可以洞察到Linux系统运行的真实身姿,如同解剖学家透过微观镜,洞察生命的奥秘。记住,不要惧怕那些高深的命令和参数,他们只是你掌握系统"魔法棒"的钥匙,熟练掌握后,你就可以骄傲地说:Linux,我来了!
369 27