Linux内存管理

简介: Linux内存管理

引言


根据上一节[[010104 - 存储层次]]介绍可以了解到系统分为寄存器,高速缓存,内存,外部存储,这几个组件的传输都比较简单易懂,其中我们会发现内存发挥了至关重要的作用,因为无论是高速缓存还是寄存器,他们提供的性能提升终究有限,如果所有的处理交给高速缓存和寄存器,那么成本和造价都是难以预估的。 所以针对内存的管理才是Linux核心和关键所在。


简单介绍



下面我们就来简单介绍Linux内存管理的,在Linux中内存管理可以大致理解为三个部分:

  • 内核使用的内存
  • 进程使用的内存
  • 可用内存(空闲内存)

其中除开内核使用的内存维持系统正常运行不能被释放之外,其他均可以由操作系统自由支配。


在Linux中拥有free命令来专门查看内存的使用情况,执行的效果类似如下:


/opt/app/tdev1$free
             total       used       free     shared    buffers     cached
Mem:       8175320    6159248    2016072          0     310208    5243680
-/+ buffers/cache:     605360    7569960
Swap:      6881272      16196    6865076


各个列的含义如下:

  • total:系统搭载物理内存总量,比如上面为8G
  • free:表面可用内存
  • buff/cache:缓冲区缓存和页面缓存,在[[010104 - 存储层次]]中提到了当内存不够的适合可以使用释放这两个缓存腾出空间给内存使用。
  • availiable:实际可以使用的内存,计算公式很简单 内核之外的可用总内存 - (free + buff/cache 最大可以释放的内存)。

除了列数据之外,可以看到还有一个swap的行数据,这个参数的含义将在后文进行介绍。

Linux除了free命令之外,还有sar -r命令,并且可以通过这个参数指定采集周期,比如-r 1就是1秒采集一次。

下面是这两个命令的对应关系:


  • total : 无对应
  • free :kbememfree
  • buff/cache :kbbufferrs + kbcached
  • available:无对应


如果内存使用过多,那么系统空出内存,可能会出现强制kill某个进程的操作,这个操作是随机的,无法被监控,如果是个人电脑也许还可以接受,但是如果是商用机器上这种操作就十分危险了,所以有部分的商用机器会开启一旦OO M直接把整个系统强制关闭的操作。

另外Mac系统虽然类Unix系统但是没有free相关的命令,为此可以使用下面的命令进行简单的替代,但是不如free强大。

比如在Mac中使用top -l 1 | head -n 10查看整体系统运行情况。


MacBook-Pro ~ % top -l 1 | head -n 10
Processes: 604 total, 2 running, 602 sleeping, 3387 threads 
2022/04/15 17:29:57
Load Avg: 2.84, 3.27, 5.68 
CPU usage: 6.8% user, 14.18% sys, 79.72% idle 
SharedLibs: 491M resident, 96M data, 48M linkedit.
MemRegions: 168374 total, 5515M resident, 235M private, 2390M shared.
PhysMem: 15G used (1852M wired), 246M unused.
VM: 221T vsize, 3823M framework vsize, 0(0) swapins, 0(0) swapouts.
Networks: packets: 312659/297M in, 230345/153M out.
Disks: 788193/14G read, 161767/3167M written.


比如在Mac中使用使用diskutil list


```shell
~ > diskutil list
/dev/disk0 (internal):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                         500.3 GB   disk0
   1:             Apple_APFS_ISC ⁨⁩                        524.3 MB   disk0s1
   2:                 Apple_APFS ⁨Container disk3⁩         494.4 GB   disk0s2
   3:        Apple_APFS_Recovery ⁨⁩                        5.4 GB     disk0s3
/dev/disk3 (synthesized):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      APFS Container Scheme -                      +494.4 GB   disk3
                                 Physical Store disk0s2
   1:                APFS Volume ⁨mysystem⁩                15.2 GB    disk3s1
   2:              APFS Snapshot ⁨com.apple.os.update-...⁩ 15.2 GB    disk3s1s1
   3:                APFS Volume ⁨Preboot⁩                 529.6 MB   disk3s2
   4:                APFS Volume ⁨Recovery⁩                798.6 MB   disk3s3
   5:                APFS Volume ⁨Data⁩                    455.3 GB   disk3s5
   6:                APFS Volume ⁨VM⁩                      24.6 KB    disk3s6
/dev/disk6 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *512.1 GB   disk6
   1:       Microsoft Basic Data ⁨⁩                        512.1 GB   disk6s1
/dev/disk7 (external, physical):
   #:                       TYPE NAME                    SIZE       IDENTIFIER
   0:      GUID_partition_scheme                        *1.0 TB     disk7
   1:       Microsoft Basic Data ⁨Extreme SSD⁩             1.0 TB     disk7s1


简单系统内存分配


内核分配内存的时机大致有下面两种:

  1. 第一种是创建进程的时候。
  2. 第二种是创建进程之后进行动态内存分配的时候。

在进程创建之后,如果进程还需要内核提供更多的内存,则可以向内核发出内存的请求申请,内核收到指令之后,则划分可用内存并且把起始结束的地址给进程进行使用。 但是这种要一点给一点的方式有下面几个常见的问题:


  • 难以执行多个任务。
  • 访问其他用途的内存区域。
  • 内存的碎片化。


内存不仅仅需要和CPU通信还需要和其他的控制器和硬件打交道,分配内存给进程只是诸多任务的项目之一。


难以执行多任务可以理解为进程频繁的需要申请内存的情况,这时候内核需要不断的操作分配内存给进程,整个任务被单个进程给拖累了。另外如果多个任务出现分配内存的区域刚好相同,此时需要要完成内存分配给那个进程,则另一个进程等待也是可以理解的。

内存碎片化的原因是进程每次获取内存都需要了解这部分内容要涵盖多少区域否则就不能获取这些内存。 内存碎片化的另一个重大问题是明明有很多富裕的内存但是却拿不出一块完整连续的空间给进程使用,导致不断的回收和分配操作。


虚拟地址和物理地址


首先我们需要了解三个名次的概念:地址空间、虚拟地址、物理地址。 地址空间:指的是可以通过地址访问的范围都统称为地址空间。 虚拟地址:虚拟地址指的是进程无法直接访问到真实的物理内存地址,而是访问和实际内存地址映射的虚拟内存地址,目的是为了保护系统硬件安全。 物理地址:也就是我们实际内存对应的实际的物理地址。 这里举一个简单的例子:如果内核给进程分配一个100地址的虚拟内存地址,那么这个虚拟内存地址可能会指向实际的600物理地址。

页表完成虚拟地址到物理地址的映射依靠的是页表,在虚拟内存当中所有的内存都被划分为页,一个页对应的数据条目叫做页表项,页表项记录物理地址到虚拟地址的映射关系。 在x86-64的架构当中,一个页的大小为4KB。上面提到了进程神奇的内存是有固定的起止地址的,那么如果出现超出地址的页访问,也就是访问了没有虚拟地址和物理地址映射的空间,会出现什么情况呢? 如果出现越界访问,那么此时CPU会出现缺页中断,并且终止在缺页中进行操作的进程指令,同时启动内核的中断处理机构处理。


虚拟内存的分配操作


虚拟内存的分配操作步骤我们可以理解为几个核心的步骤:

  • 内核寻找物理地址,并且把需要的物理地址空间计算之后,请求物理分页。
  • 创建进程的页表把物理地址映射到虚拟地址。
  • 如果进程需要动态内存管理,内核则会分配新页表并且分配新的可用内存给进程使用,当然同时提供对应的虚拟地址空间。

物理分页使用的是请求分页的方式进行处理,这个分配的操作十分复杂。


内存的上层分配

在经典的编程语言C语言中,分配内存的函数是malloc函数,而Linux操作系统中用于分配内存的函数是mmap函数,这两者最大区别是mmap函数使用的是按页的方式分配,而malloc是按照字节的方式分配。

glibc通过系统调用向mmap申请大量的内存空间作为内存池,程序调用malloc则根据内存池分配出具体的内存使用,如果进程需要再次获取内存则需要再次通过mmap获取内存并且再次进行分配操作。

其实更为上层的编程语言也是使用了类似的操作,首先通过glibc向内核申请内存执行虚拟内存的分配操作,然后malloc函数再去请求划分具体的内存使用,只不过更上层的语言使用了解析器和脚本进行掩盖而已,实际上通过层层翻译最终的操作依然是上面提到的操作。

虚拟内存是如何解决简单分配的问题的?这里我们再次把上面三个问题搬出来,再解释虚拟内存是如何处理问题的:


  • 难以执行多个任务:每个进程有独立的虚拟地址空间,所以可以编写专用地址空间程序防止多个任务阻塞等待的情况。
  • 访问其他用途的内存区域:虚拟地址空间是进程独有,页表也是进程独有。页表的另一个作用是限制可以防止当前的进程访问到其他线程的页表和地址空间。
  • 内存的碎片化:内存碎片化使用页表的方式进行分配,因为页表记录了物理地址到虚拟地址的映射,这样就可以很好的知道未使用的空间都干了啥。

虚拟内存的其他作用:

  • 文件映射
  • 请求分页
  • 利用写时复制的方式快速创建进程
  • 多级页表
  • 标准大页


小结


这一部分简要阐述Linux内存管理的入门理解部分,这一部分主要介绍了简要的内存分配方式,以及Linux对此通过页表的方式实现物理地址和虚拟地址的分配,最后阐述了操作系统和编程语言也就是进程之间是如何分配内存的,具体的分配步骤和交互逻辑介绍。

相关文章
|
3月前
|
安全 Linux Shell
Linux上执行内存中的脚本和程序
【9月更文挑战第3天】在 Linux 系统中,可以通过多种方式执行内存中的脚本和程序:一是使用 `eval` 命令直接执行内存中的脚本内容;二是利用管道将脚本内容传递给 `bash` 解释器执行;三是将编译好的程序复制到 `/dev/shm` 并执行。这些方法虽便捷,但也需谨慎操作以避免安全风险。
189 6
|
11天前
|
缓存 Java Linux
如何解决 Linux 系统中内存使用量耗尽的问题?
如何解决 Linux 系统中内存使用量耗尽的问题?
|
11天前
|
缓存 Linux
如何检查 Linux 内存使用量是否耗尽?
何检查 Linux 内存使用量是否耗尽?
|
20天前
|
算法 Linux 开发者
深入探究Linux内核中的内存管理机制
本文旨在对Linux操作系统的内存管理机制进行深入分析,探讨其如何通过高效的内存分配和回收策略来优化系统性能。文章将详细介绍Linux内核中内存管理的关键技术点,包括物理内存与虚拟内存的映射、页面置换算法、以及内存碎片的处理方法等。通过对这些技术点的解析,本文旨在为读者提供一个清晰的Linux内存管理框架,帮助理解其在现代计算环境中的重要性和应用。
|
3天前
|
存储 算法 安全
深入理解Linux内核的内存管理机制
本文旨在深入探讨Linux操作系统内核的内存管理机制,包括其设计理念、实现方式以及优化策略。通过详细分析Linux内核如何处理物理内存和虚拟内存,揭示了其在高效利用系统资源方面的卓越性能。文章还讨论了内存管理中的关键概念如分页、交换空间和内存映射等,并解释了这些机制如何协同工作以提供稳定可靠的内存服务。此外,本文也探讨了最新的Linux版本中引入的一些内存管理改进,以及它们对系统性能的影响。
|
26天前
|
存储 缓存 监控
|
2月前
|
存储 缓存 监控
Linux中内存和性能问题
【10月更文挑战第5天】
40 4
|
2月前
|
算法 Linux
Linux中内存问题
【10月更文挑战第6天】
53 2
|
23天前
|
缓存 算法 Linux
Linux内核中的内存管理机制深度剖析####
【10月更文挑战第28天】 本文深入探讨了Linux操作系统的心脏——内核,聚焦其内存管理机制的奥秘。不同于传统摘要的概述方式,本文将以一次虚拟的内存分配请求为引子,逐步揭开Linux如何高效、安全地管理着从微小嵌入式设备到庞大数据中心数以千计程序的内存需求。通过这段旅程,读者将直观感受到Linux内存管理的精妙设计与强大能力,以及它是如何在复杂多变的环境中保持系统稳定与性能优化的。 ####
28 0
|
2月前
|
存储 缓存 固态存储
下一篇
无影云桌面