软件角度看看内存
关于内存,从软件的角度去查看,其实作为一个软件程序员,大多数对这个维度的接触还是蛮多的。
linux中有个free命令,其就是查看系统内存的情况。
free命令的选项也比较简单,常用的参数命令如下。 -b 以Byte为单位显示内存使用情况。 -k 以KB为单位显示内存使用情况。 -m 以MB为单位显示内存使用情况。 -g 以GB为单位显示内存使用情况。 -o 不显示缓冲区调节列。 -s<间隔秒数> 持续观察内存使用状况。 -t 显示内存总和列。 -V 显示版本信息。 下面是Linux机器中使用free -m命令看到的内存情况。 $ free -m total used free shared buff/cache available Mem: 7763 5507 907 0 1348 1609 Swap: 16197 2940 13257
figo@figo-OptiPlex-9020:~$ 可以看到,这个机器上一共有7 763MB物理内存。 total:指系统中总的内存。这里有两种内存,一个是“Mem”,指的是物理内存;另一个是“Swap”,指的是交换磁盘。 used:指程序使用的内存。 free:未被分配的物理内存大小。 shared:共享内存大小,主要用于进程间通信。 buff/cache:buff指的是buffers,用来给块设备做缓存,而cache指的是page cache,用来给打开的文件做缓存,以提高访问文件的速度。 available:这是free命令新加的一个选项。当内存短缺时,系统可用回收buffers和page cache。那么availabe = free + buffers + page cache对不对呢? 其实在现在的Linux内核中,这个公式不完全正确,因为buffers和page cache里并不是所有的内存都可以回收的,比如共享内存段、tmpfs 和 ramfs 等属于不可回收的。所以这个公式应该变成:available = free + buffers + page cache – 不可回收部分。
在我们写代码的时候也会用到malloc()这个函数,如果你申请内存没有用到,那可能是你使用的高级语言,申请内存的函数封装了malloc。
对于这些函数瞅一眼就行了,需要用的时候再好好深入学习一下这个里面的东西。了解这个API背后的实现。
下面让我们再软件层面从内存的布局和进程的角度去认识一下内存
1、从内存布局图角度看内存管理
书里面有句话写的挺好的,到达一个景区,先看看景区的地图,会让我们在里面浏览的游刃有余。(当然未知也能带来惊喜)在内存管理学习也是,这里我们来看看内存的布局,对我们的学习是会大有好处的。
我们知道Linux是分为两种状态 用户态和内核态,Linux内核需要跑在硬件平台上,硬件平台也有自己的状态。这里还是ARM,ARM有其中处理器的模式。
用户模式(user):用户程序运行的模式。 系统模式(system):特权模式。 一般中断模式(IRQ):普通中断模式。 快速中断模式(FIQ):快速中断模式。 管理模式(supervisor):操作系统的内核通常运行在该模式下。 数据访问终止模式(abort):当数据或者指令预取终止时进入该模式,用于虚拟存储及存储保护。未定义指令模式(undefined):当未定义的指令执行时进入该模式,可用于支持硬件协处理器的软件仿真。
Linux内核的用户态和内核态两种模式分别对应的用户模式和管理模式。
这里还是以32位,对应4GB,内核一般内核:用户按照1:3的比例分配。这也是可以修改的。
我们知道分页机制,赋予了每个进程都有寻址4GB的空间,因为每个进程都有自己的进程表。
Virtual kernel memory layout: vector : 0xffff0000 - 0xffff1000 ( 4 kB) fixmap : 0xffc00000 - 0xfff00000 (3072 kB) vmalloc : 0xf0000000 - 0xff000000 ( 240 MB) lowmem : 0xc0000000 - 0xef800000 ( 760 MB) pkmap : 0xbfe00000 - 0xc0000000 ( 2 MB) modules : 0xbf000000 - 0xbfe00000 ( 14 MB) .text : 0xc0008000 - 0xc0658750 (6466 kB) .init : 0xc0659000 - 0xc0782000 (1188 kB) .data : 0xc0782000 - 0xc07b1920 ( 191 kB) .bss : 0xc07b1920 - 0xc07db378 ( 167 kB)
(这部分信息是在mem_init()函数中输出的。虚拟内存)
内核空间是从3GB开始,lowmem这段空间其实就是我们常说的线性映射区。(为啥虚拟地址明明在高位却是low,继续看)所谓的线性映射区,就是物理内存线性地映射到这段内核空间的区域中。在 ARM32 平台上,物理地址[0:760MB]的这一部分内存被线性映射到[3GB :3GB+760MB]的虚拟地址上(因为其物理地址在低位)。
线性映射区的虚拟地址和物理地址相差PAGE_OFFSET,即3GB。内核中有相关的宏来实现线性映射区的虚拟地址到物理地址的查找,例如__pa(x)和__va(x)。
其中,__pa()把线性映射区的虚拟地址转换为物理地址,转换公式很简单,即用虚拟地址减去PAGE_OFFSET(3GB),然后加上PHYS_OFFSET(这个值在有的ARM平台上为0,在ARM Vexpress平台上为0x6000_0000)。
物理内存被分成了两部分,低端的部分用在线性映射区,线性映射区就是这里的“lowmem”区域。剩下的高端部分的物理内存被称为高端内存(High Memory),内核要使用它,必须通过高端映射的方式来访问。
内核通常把低于760MB的物理内存称为线性映射内存(Normal Memory),而高于760MB以上的称为高端内存。
(这个高端是针对内核内存来说,780到1G)
这个分给内核的1G分成了高端和线性。
高端780到1G是干啥呢?
剩下的264MB虚拟地址空间是保留给vmalloc机制、fixmap和高端异常向量表等使用的。内核很多驱动使用vmalloc机制来分配连续虚拟地址的内存,因为有的驱动不需要连续物理地址的内存;除此以外,vmalloc机制还可以用于高端内存的临时映射。一个32位的系统中,实际支持的内存数量会超过内核线性映射的长度,但是内核要具有对所有内存的寻找能力。
(这里我想的是虽然在内核,但是我内核还是要对整个内存有个控制能力,这里就是体现,在vmalloc机制就可以干这个:个人看法,有纠正的大佬在评论区告诉小的一下)
编译器在编译目标文件并且链接完成之后,就可以知道内核映像文件最终的大小,接下来将其打包成二进制文件,该操作由arch/arm/kernel/vmlinux.ld.S 控制,其中也划定了内核的内存布局。
内核image本身占据的内存空间从_text段到_end段,并分为如下几个段。
text段:_text和_etext为代码段的起始和结束地址,包含了编译后的内核代码。
init段:__init_begin和__init_end为init段的起始和结束地址,包含了大部分内核模块初始化的数据。
data段:_sdata和_edata为数据段的起始和结束地址,保存大部分内核的已初始化的变量。
BSS段:__bss_start和__bss_stop为BSS段的开始和结束地址,包含初始化为0的所有静态全局变量。
上述几个段的大小在编译链接时根据内核配置来确定,因为每种配置的代码段和数据段长度都不相同,这取决于要编译哪些内核模块,但是起始地址_text 总是相同的。内核编译完成之后,会生成一个System.map文件,查询这个文件可以找到这些符号的具体数值。
这是整个Linux内核的输出日志绘制的内存布局图
2、进程角度看内存
上面我们对整个内核内存分布有了个大概的认识,下面再从进程的角度来看看。
在windows下的可执行文件的格式为.exe,而Linux的下的是ELF。这是一种文件格式,就是告诉你文件是怎么存储的。怎么存储什么意思?就是这玩意是什么?放在哪里?应该以什么姿势去放?
整个ELF的图看看
这些内容和内核空间定义也差不多。
代码段(.text):程序源代码编译后的机器指令被存放在这个代码段里。 数据段(.data):存放已初始化的全局变量和已初始化的局部静态变量。 bss段(.bss):用来存放未初始化的全局变量以及未初始化的局部静态变量。
写一个程序,其实是依赖很多的其他的程序,因此自己写的程序需要编译链接后才能使用,对这部分有点疑惑可以自己先去看看C语言编译链接这个过程,大爷要是不想动,让我动,给你
整一篇的话,请留言哦。
时起到辅助作用,暂时先不用关注它们。程序在编译链接时会尽量把相同权限属性的段分配在同一个空间里,例如,把可读可执行的段放在一起,包括代码段、init段等;把可读可写的段放在一起,包括.data段和.bss段等。ELF把这些属性相似并且链接在一起的段叫作分段(Segment),进程在装载时是按照这些分段来映射可执行文件的。
描述这些分段的结构叫作程序头(Program Header),它描述了ELF文件是如何映射到进程地址空间的,这是我们比较关心的。
可以使用objdump或者readelf工具来查看ELF文件包含哪些段。
我们可以通过“readelf -l”命令来查看这些程序头。
在看的时候主要关注LOAD类型的分段,其他的都是在LOAD的时候起到辅助作用。
这是都是静态的。
在如果你想去看看静态的,可以通过proc文件系统来看看Linux内核的运行情况。每个进程运行之后,在/proc/pid/maps节点会列出当前进程的地址映射情况。
对于proc不了解的可以看看大帅比的文章了解一下 --------->>>>>>>Linux内核追踪(一):proc/sys/debugfs
第1行中显示了地址0x10000~0x870000这段进程地址空间,它的属性是只读并且可执行的,由此我们知道它是代码段,也就是之前看到的代码段的程序头。
第2行中显示了地址0x96000~0x98000,它的属性是可读可写的进程地址空间,也就是我们之前看到的数据段的程序头。
第 3 行中显示了地址 0x98000~0xbb000,这段进程地址空间叫作堆空间(Heap),也就是通常使用malloc分配的内存,大小是140KB。test进程主要使用malloc分配100KB的内存,这里看到Linux内核会分配比100KB稍微大一点的内存空间。
第4行显示test进程的栈(stack)空间。
第5行是Sigpage的进程地址空间,Sigpage是ARM体系结构中特有的页面。
第6行是ARM中高端映射的异常向量(vectors)。
这里说的进程地址空间,在 Linux 内核中使用一个叫作 VMA 的术语来描述,它是vm_area_struct数据结构的简称,在虚拟内存管理部分会详细介绍它。另外,/proc/pid/smaps节点会提供更多的地址映射的细节,以代码段的VMA和堆的VMA为例。
另外,/proc/pid/smaps节点会提供更多的地址映射的细节,以代码段的VMA和堆的VMA为例。
这里就不深入去讲诉这些,毕竟咱们这是宏观篇,对内存从不同角度有个认识,有个大概的了解,目的就达到了。