深入理解Linux内存管理机制(一)

简介:
深入理解Linux内存管理机制(一)通过本文,您即可以:

1. 存储器硬件结构

2.分段以及对应的组织方式

3.分页以及对应的组织方式

注1:本文以Linux内核2.6.32.59本版为例,其对应的代码可以在http://www.kernel.org/pub/linux/kernel/v2.6/longterm/v2.6.32/linux-2.6.32.59.tar.bz2找到。



注2:本文所有的英文专有名词都是我随便翻译的,请对照英文原文进行理解。

注3:推荐使用Source Insight进行源码分析。

内存组织

计算机内存属于随机存储器(RAM),目前PC机广泛使用的是DDR

SDRAM,即“双倍速率同步动态随机存储器”,其本质上仍然是由n bitsm KB个内存芯片组成的,比如如果我们需要8位64KB的内存,则我们就需要28=16块4bits8KB的内存块。由于计算机通常是以字节(Byte)进行数据交换的,所以对内存的地址编码一般使用字节,如上我们有64KB内存,则其地址编码为0x0000~0xFFFF,称为物理地址。对于32位机来说,由于其“地址寄存器(AR)”是32位,也就限制了其内存的最大寻址范围是2^32=4GB。

Linux将物理地址按4KB的大小划分成“帧(Frame)”。为什么是4KB?因为每一个帧都需要用一个C结构体来描述,称之为“帧描述单元(Frame Discriptor)”,如果太小,帧描述单元显然太多了,如果太大,那么在内存分配时又会造成“内碎片(Inner

Fragments)”。早些时候,计算机的内存址都是直接映射的,由于程序里的地址是写死的,这就意味着每段程序每次都只能映射对应的地址空间。这无论对程序设计者与系统都是相当大的负担。Linux使用“分段”加“分页”来解决此问题。由于它们的存在,内存地址进入了逻辑地址时代。Linux有三种地址:逻辑地址(Logic

Address)、线性地址(Linear Address)与物理地址(Physics Address)。其关系如下:



另外,Linux支持众多CPU架构,这里只研究X86的,对应的源代码为:…/X86/… 路径。

Linux中的分段

Linux并不使用太多的分段,原因是某些RISC机器对分段的支持不好。为此Linux的分段都存在“全局描述表(GDT)”中,GDT是一个全局desc_struct数组(位于linux-2.6.32.59archx86includeasm),其结构如下:


1. #define GDT_ENTRIES 16 
2. 
3. struct desc_struct gdt[GDT_ENTRIES]; 
4. 
5. struct desc_struct { 
6. union { 
7. struct { 
8. unsigned int a; 
9. unsigned int b; 
10. }; 
11. struct { 
12. u16 limit0; // 段大小 
13. u16 base0; // 段起始位置 
14. unsigned base1: 8, type: 4, s: 1, dpl: 2, p: 1; // type表示段类型,占4位;dpl指的段运行权限,占2位 
15. unsigned limit: 4, avl: 1, l: 1, d: 1, g: 1, base2: 8; //d 表示内存地址位宽,占1位 
16. }; 
17. }; 
18. } attribute((packed)); 

所以我们可以看出,段描述结构体占8个字节,至于里面的a,b,那是老的方式,后来使用C++ Struts的Bit Fields后更方便了。type类型由以下几种:


1. enum { 
2. DESC_TSS = 0x9, 
3. DESC_LDT = 0x2, 
4. DESCTYPE_S = 0x10, / !system / 
5. }; 

Linux主要使用以下几种段: 内核代码段(Kernel Code Segment):type=10,dpl=0
内核数据段(Kernel Data Segment):type=2,dpl=0 用户代码段(User Code Segment):type=10,dpl=3
用户数据段(User Data Segment):type=2,dpl=3 任务状态段(Task State Segment),每进程一个:type=9,dpl=3
其它类型可以参见linux-2.6.32.59archx86includeasmsegment.h,里面有非常详细的说明。

它们都存储在“全局描述符表(GDT)”。Linux本身并不使用“局部描述符表(LDT)”,当一个进程被创建时,其指向的是一个默认的LDT,不过系统并不阻止进程创建它。也就是说一个进程最多两个段描述符:TSS与LDT。由于Segment Selector为16位(为什么只有16位,这个就是历史原因了,由于X86在Real Mode下段地址只有20位,其中有效的就是16位,详见:x86

memory segmentation,但Linux段内偏移地址高达32位,所以线性地址总共是48位),其中有效的索引位仅有13位,所以GDT的最大长度为213-1=8192,除去系统保留的12个,留给进程的只有8180个入口,那么就意味Linux进程的最大数为8180/2=4090。需要注意的是,进程在创建的时候并不会马上创建自己的LDT,其指向的是GDT一个默认的LDT,里面的SD为null。只有在需要的时候进程才创建自己的LDT并把它放入GDT中。所以不管是LDT也好,TSS也好,它们都存放在GDT里面。而对于UCS与UDS,所有的进程共享一个。这样地址空间不会重复吗?不会,因为线性不是最终的物理地址,每个进程还有自己的页表,所以最终映射到物理地址是不同的。

下面我们来看看段中地址是如何转换的。假设我们需要访问内核数据段的0x00124部分,由代码知其GDT的入口为13,那么其对应的内存地址=gdtr+138+0x00124,假设gptr为0x02000,则最终的结果为0x02228。gdtr是一个寄存器,其为48位,用来保存GDT的第一个字节线性地址与表限。其过程如图所示:

图片来源于《Understand The Linux Kernel》

分页

相对于分段来说,分页更主流更流行一些。原因是其更灵活,其能把不同的线性地址映射到同一个物理地址上,缺点是内存必须以页大小的整数倍分配。按现在主流的4KB一页来说,如果程序只申请100B的数据,那内存浪费还是相当的大。为此,Linux使用了一种称为Slab的方法来解决这个问题,后面的文章会讲到。

因为页表本身也需要存储空间,按每页32B来算,对于4GB内存,每页4KB,共有1M页,则页表的大小为32MB,这显然不可以接受,所以后来出现了多级页表这个概念。2004年后Linux版本使用的是四级页表:第一级叫“全局目录(Page

Global Directory)“、第二级叫“页上级目录(Page

Upper Directory)”、第三级叫”页中间目录(Page

Middle Derectory)”、第四级叫”页面表(Page

Table Entry)”,最后页内偏移量“offset”,如下图:

(图片来源于:http://biancheng.dnbcw.info/linux/335152.html

图中的cr3是一个寄存器,它存储“Global DIR”的地址。当进程切换发生时,它将被保存在TSS中,前面说过了TSS段表是每个进程一个。分页在Linux内使用的地方很多,特别是进程内的地址转换。分页有硬件支持的,特别是旁路转换缓冲(Translation

Lookaside Buffer)的出现,使用即使使用三级页表的Linux在地转转换中的实际效果也是非常好的。与段表所有的进程都共用一个的是,每个进程都拥有自己的分页。其实也正是因为所有进程都共享一个段表,每个进程才必须有自己的页表,否则相同的linear地址如何映射到不同的物理地址去?下面我们着重来研究一下Linux系统中是如何表示分页中所用到的数据结构的。

每个“帧”在Linux中都是以一个名为page(位于linux-2.6.32.59includelinuxMm_types.h)的结构体来存储的。所有的页被放在一个类型为page名为mem_map的数组中(位于linux-2.6.32.59mmMemory.c)。代码如下(为了显示方便,仅列出部分:



1. struct page { 
2. unsigned long flags; / 帧的标志位,用枚举pageflags(位于:linux-2.6.32.59includelinuxPage-flags.h)表示,每个值的意义详见注释 / 
3. … 
4. atomic_t _count; / 该帧被引用的数量 / 
5. union { 
6. atomic_t _mapcount; / 所有指向该帧的页表数量/ 
7. … 
8. }; 
9. union { 
10. struct { 
11. unsigned long private/根据此页的使用情况会有不同的意义,详见源码注释/ 
12. … 
13. }; 
14. … 
15. }; 
16. 
17. union { 
18. pgoff_t index; / 重要:类型即unsinged long, 指向物理帧号 / 
19. … 
20. }; 
21. 
22. 
23. struct list_head lru; / 指向最近被使用的页的双向链表,cache相关/ 
24. }; 

下面我们再来看看PGD页表。每个进程的mm_struct->pgd(位于:linux-2.6.32.59includelinuxMm_types.h)指向自己的PGD:


1. struct mm_struct { 
2. … 
3. pgd_t pgd; 
4. … 
5. } 

可以看出pdg实际上是一个pgd_t结构数组,pgd_t在X86系统中就是一个usinged long,其指向的就是下一级页表的地址。就这样找下去,直到找到对应的页为止,再加上页内偏移,就可以进行内存访问了。

例如线性地址为:0x91220B01,如下图,如果PGD、PUD、PMD以及PTE均5位。页内偏移12位,即页大小4KB。

那么这段内存的解析步骤是:

1. PGD号为24,查PGD[24]得到PUD入口;
2. PUD号为4,再查PUD[4];
3. PMD号为36,再查PMD[36];
4. PTE号为2,再查PTE[2];
5. 如果最终帧地址为a:那么最后的物理地址就是a+0x0301
需要补充的是,并不是所有的内存都是使用“分页”,在内核初始化的时候,有100MB内存的样子是使用直接映射的,这是因为总是要先装入分页的初始化代码才能进行页表初始化。

总结:不知不觉也写了不少了。这次我们介绍了操作系统最基本的内存管理概念“分段”与“分页”在Linux中的实现,可以看出其与通过的概念还是很接近的。这正证明了基础知识的重要性。下一次我们将介绍Linux的内存初始化过程,如页表的建立与初始化。

本文来源于"阿里中间件团队播客",原文发表时间"  "

相关文章
|
29天前
|
缓存 Linux
linux 手动释放内存
在 Linux 系统中,内存管理通常自动处理,但业务繁忙时缓存占用过多可能导致内存不足,影响性能。此时可在业务闲时手动释放内存。
97 17
|
2天前
|
消息中间件 Linux
Linux中的System V通信标准--共享内存、消息队列以及信号量
希望本文能帮助您更好地理解和应用System V IPC机制,构建高效的Linux应用程序。
62 48
|
1月前
|
消息中间件 Linux
Linux:进程间通信(共享内存详细讲解以及小项目使用和相关指令、消息队列、信号量)
通过上述讲解和代码示例,您可以理解和实现Linux系统中的进程间通信机制,包括共享内存、消息队列和信号量。这些机制在实际开发中非常重要,能够提高系统的并发处理能力和数据通信效率。希望本文能为您的学习和开发提供实用的指导和帮助。
103 20
|
2月前
|
存储 编译器 Linux
动态链接的魔法:Linux下动态链接库机制探讨
本文将深入探讨Linux系统中的动态链接库机制,这其中包括但不限于全局符号介入、延迟绑定以及地址无关代码等内容。
717 23
|
3月前
|
缓存 Java Linux
如何解决 Linux 系统中内存使用量耗尽的问题?
如何解决 Linux 系统中内存使用量耗尽的问题?
252 48
|
2月前
|
算法 Linux
深入探索Linux内核的内存管理机制
本文旨在为读者提供对Linux操作系统内核中内存管理机制的深入理解。通过探讨Linux内核如何高效地分配、回收和优化内存资源,我们揭示了这一复杂系统背后的原理及其对系统性能的影响。不同于常规的摘要,本文将直接进入主题,不包含背景信息或研究目的等标准部分,而是专注于技术细节和实际操作。
|
2月前
|
监控 算法 Linux
Linux内核锁机制深度剖析与实践优化####
本文作为一篇技术性文章,深入探讨了Linux操作系统内核中锁机制的工作原理、类型及其在并发控制中的应用,旨在为开发者提供关于如何有效利用这些工具来提升系统性能和稳定性的见解。不同于常规摘要的概述性质,本文将直接通过具体案例分析,展示在不同场景下选择合适的锁策略对于解决竞争条件、死锁问题的重要性,以及如何根据实际需求调整锁的粒度以达到最佳效果,为读者呈现一份实用性强的实践指南。 ####
|
2月前
|
消息中间件 安全 Linux
深入探索Linux操作系统的内核机制
本文旨在为读者提供一个关于Linux操作系统内核机制的全面解析。通过探讨Linux内核的设计哲学、核心组件、以及其如何高效地管理硬件资源和系统操作,本文揭示了Linux之所以成为众多开发者和组织首选操作系统的原因。不同于常规摘要,此处我们不涉及具体代码或技术细节,而是从宏观的角度审视Linux内核的架构和功能,为对Linux感兴趣的读者提供一个高层次的理解框架。
|
3月前
|
算法 Linux 开发者
Linux内核中的锁机制:保障并发控制的艺术####
本文深入探讨了Linux操作系统内核中实现的多种锁机制,包括自旋锁、互斥锁、读写锁等,旨在揭示这些同步原语如何高效地解决资源竞争问题,保证系统的稳定性和性能。通过分析不同锁机制的工作原理及应用场景,本文为开发者提供了在高并发环境下进行有效并发控制的实用指南。 ####
|
3月前
|
缓存 Ubuntu Linux
Linux环境下测试服务器的DDR5内存性能
通过使用 `memtester`和 `sysbench`等工具,可以有效地测试Linux环境下服务器的DDR5内存性能。这些工具不仅可以评估内存的读写速度,还可以检测内存中的潜在问题,帮助确保系统的稳定性和性能。通过合理配置和使用这些工具,系统管理员可以深入了解服务器内存的性能状况,为系统优化提供数据支持。
93 4