Linux内存管理宏观篇(二):不同角度去看内存(软件)

简介: Linux内存管理宏观篇(二):不同角度去看内存(软件)

软件角度看看内存

关于内存,从软件的角度去查看,其实作为一个软件程序员,大多数对这个维度的接触还是蛮多的。

linux中有个free命令,其就是查看系统内存的情况。

free命令的选项也比较简单,常用的参数命令如下。
-b 以Byte为单位显示内存使用情况。
-k 以KB为单位显示内存使用情况。
-m 以MB为单位显示内存使用情况。
-g 以GB为单位显示内存使用情况。
-o 不显示缓冲区调节列。
-s<间隔秒数> 持续观察内存使用状况。
-t 显示内存总和列。
-V 显示版本信息。
下面是Linux机器中使用free -m命令看到的内存情况。
$ free -m
total   used    free   shared buff/cache available
Mem:   7763   5507     907     0    1348    1609
Swap:   16197  2940    13257
figo@figo-OptiPlex-9020:~$
可以看到,这个机器上一共有7 763MB物理内存。
total:指系统中总的内存。这里有两种内存,一个是“Mem”,指的是物理内存;另一个是“Swap”,指的是交换磁盘。
used:指程序使用的内存。
free:未被分配的物理内存大小。
shared:共享内存大小,主要用于进程间通信。
buff/cache:buff指的是buffers,用来给块设备做缓存,而cache指的是page cache,用来给打开的文件做缓存,以提高访问文件的速度。
available:这是free命令新加的一个选项。当内存短缺时,系统可用回收buffers和page cache。那么availabe = free + buffers + page cache对不对呢?
其实在现在的Linux内核中,这个公式不完全正确,因为buffers和page cache里并不是所有的内存都可以回收的,比如共享内存段、tmpfs 和 ramfs 等属于不可回收的。所以这个公式应该变成:available = free + buffers + page cache – 不可回收部分。

在我们写代码的时候也会用到malloc()这个函数,如果你申请内存没有用到,那可能是你使用的高级语言,申请内存的函数封装了malloc。

对于这些函数瞅一眼就行了,需要用的时候再好好深入学习一下这个里面的东西。了解这个API背后的实现。

下面让我们再软件层面从内存的布局和进程的角度去认识一下内存

1、从内存布局图角度看内存管理

书里面有句话写的挺好的,到达一个景区,先看看景区的地图,会让我们在里面浏览的游刃有余。(当然未知也能带来惊喜)在内存管理学习也是,这里我们来看看内存的布局,对我们的学习是会大有好处的。

我们知道Linux是分为两种状态 用户态和内核态,Linux内核需要跑在硬件平台上,硬件平台也有自己的状态。这里还是ARM,ARM有其中处理器的模式。

用户模式(user):用户程序运行的模式。
系统模式(system):特权模式。
一般中断模式(IRQ):普通中断模式。
快速中断模式(FIQ):快速中断模式。
管理模式(supervisor):操作系统的内核通常运行在该模式下。
数据访问终止模式(abort):当数据或者指令预取终止时进入该模式,用于虚拟存储及存储保护。未定义指令模式(undefined):当未定义的指令执行时进入该模式,可用于支持硬件协处理器的软件仿真。

Linux内核的用户态和内核态两种模式分别对应的用户模式和管理模式。

这里还是以32位,对应4GB,内核一般内核:用户按照1:3的比例分配。这也是可以修改的。

我们知道分页机制,赋予了每个进程都有寻址4GB的空间,因为每个进程都有自己的进程表。

Virtual kernel memory layout:
vector : 0xffff0000 - 0xffff1000 (  4 kB)
fixmap : 0xffc00000 - 0xfff00000 (3072 kB)
vmalloc : 0xf0000000 - 0xff000000 ( 240 MB)
lowmem : 0xc0000000 - 0xef800000 ( 760 MB)
pkmap  : 0xbfe00000 - 0xc0000000 (  2 MB)
modules : 0xbf000000 - 0xbfe00000 ( 14 MB)
.text : 0xc0008000 - 0xc0658750  (6466 kB)
.init : 0xc0659000 - 0xc0782000  (1188 kB)
.data : 0xc0782000 - 0xc07b1920  ( 191 kB)
.bss : 0xc07b1920 - 0xc07db378   ( 167 kB)

(这部分信息是在mem_init()函数中输出的。虚拟内存)

内核空间是从3GB开始,lowmem这段空间其实就是我们常说的线性映射区。(为啥虚拟地址明明在高位却是low,继续看)所谓的线性映射区,就是物理内存线性地映射到这段内核空间的区域中。在 ARM32 平台上,物理地址[0:760MB]的这一部分内存被线性映射到[3GB :3GB+760MB]的虚拟地址上(因为其物理地址在低位)。

线性映射区的虚拟地址和物理地址相差PAGE_OFFSET,即3GB。内核中有相关的宏来实现线性映射区的虚拟地址到物理地址的查找,例如__pa(x)和__va(x)。

其中,__pa()把线性映射区的虚拟地址转换为物理地址,转换公式很简单,即用虚拟地址减去PAGE_OFFSET(3GB),然后加上PHYS_OFFSET(这个值在有的ARM平台上为0,在ARM Vexpress平台上为0x6000_0000)。

物理内存被分成了两部分,低端的部分用在线性映射区,线性映射区就是这里的“lowmem”区域。剩下的高端部分的物理内存被称为高端内存(High Memory),内核要使用它,必须通过高端映射的方式来访问。

内核通常把低于760MB的物理内存称为线性映射内存(Normal Memory),而高于760MB以上的称为高端内存。

(这个高端是针对内核内存来说,780到1G)

这个分给内核的1G分成了高端和线性。

高端780到1G是干啥呢?

剩下的264MB虚拟地址空间是保留给vmalloc机制、fixmap和高端异常向量表等使用的。内核很多驱动使用vmalloc机制来分配连续虚拟地址的内存,因为有的驱动不需要连续物理地址的内存;除此以外,vmalloc机制还可以用于高端内存的临时映射。一个32位的系统中,实际支持的内存数量会超过内核线性映射的长度,但是内核要具有对所有内存的寻找能力。

(这里我想的是虽然在内核,但是我内核还是要对整个内存有个控制能力,这里就是体现,在vmalloc机制就可以干这个:个人看法,有纠正的大佬在评论区告诉小的一下)

编译器在编译目标文件并且链接完成之后,就可以知道内核映像文件最终的大小,接下来将其打包成二进制文件,该操作由arch/arm/kernel/vmlinux.ld.S 控制,其中也划定了内核的内存布局。

内核image本身占据的内存空间从_text段到_end段,并分为如下几个段。

text段:_text和_etext为代码段的起始和结束地址,包含了编译后的内核代码。

init段:__init_begin和__init_end为init段的起始和结束地址,包含了大部分内核模块初始化的数据。

data段:_sdata和_edata为数据段的起始和结束地址,保存大部分内核的已初始化的变量。

BSS段:__bss_start和__bss_stop为BSS段的开始和结束地址,包含初始化为0的所有静态全局变量。

上述几个段的大小在编译链接时根据内核配置来确定,因为每种配置的代码段和数据段长度都不相同,这取决于要编译哪些内核模块,但是起始地址_text 总是相同的。内核编译完成之后,会生成一个System.map文件,查询这个文件可以找到这些符号的具体数值。

这是整个Linux内核的输出日志绘制的内存布局图

2、进程角度看内存

上面我们对整个内核内存分布有了个大概的认识,下面再从进程的角度来看看。

在windows下的可执行文件的格式为.exe,而Linux的下的是ELF。这是一种文件格式,就是告诉你文件是怎么存储的。怎么存储什么意思?就是这玩意是什么?放在哪里?应该以什么姿势去放?

整个ELF的图看看

这些内容和内核空间定义也差不多。

代码段(.text):程序源代码编译后的机器指令被存放在这个代码段里。
数据段(.data):存放已初始化的全局变量和已初始化的局部静态变量。
bss段(.bss):用来存放未初始化的全局变量以及未初始化的局部静态变量。

写一个程序,其实是依赖很多的其他的程序,因此自己写的程序需要编译链接后才能使用,对这部分有点疑惑可以自己先去看看C语言编译链接这个过程,大爷要是不想动,让我动,给你

整一篇的话,请留言哦。

时起到辅助作用,暂时先不用关注它们。程序在编译链接时会尽量把相同权限属性的段分配在同一个空间里,例如,把可读可执行的段放在一起,包括代码段、init段等;把可读可写的段放在一起,包括.data段和.bss段等。ELF把这些属性相似并且链接在一起的段叫作分段(Segment),进程在装载时是按照这些分段来映射可执行文件的。

描述这些分段的结构叫作程序头(Program Header),它描述了ELF文件是如何映射到进程地址空间的,这是我们比较关心的。

可以使用objdump或者readelf工具来查看ELF文件包含哪些段。

我们可以通过“readelf -l”命令来查看这些程序头。

在看的时候主要关注LOAD类型的分段,其他的都是在LOAD的时候起到辅助作用。

这是都是静态的。

在如果你想去看看静态的,可以通过proc文件系统来看看Linux内核的运行情况。每个进程运行之后,在/proc/pid/maps节点会列出当前进程的地址映射情况。

对于proc不了解的可以看看大帅比的文章了解一下 --------->>>>>>>Linux内核追踪(一):proc/sys/debugfs

第1行中显示了地址0x10000~0x870000这段进程地址空间,它的属性是只读并且可执行的,由此我们知道它是代码段,也就是之前看到的代码段的程序头

第2行中显示了地址0x96000~0x98000,它的属性是可读可写的进程地址空间,也就是我们之前看到的数据段的程序头

第 3 行中显示了地址 0x98000~0xbb000,这段进程地址空间叫作堆空间(Heap),也就是通常使用malloc分配的内存,大小是140KB。test进程主要使用malloc分配100KB的内存,这里看到Linux内核会分配比100KB稍微大一点的内存空间。

第4行显示test进程的栈(stack)空间。

第5行是Sigpage的进程地址空间,Sigpage是ARM体系结构中特有的页面。

第6行是ARM中高端映射的异常向量(vectors)。

这里说的进程地址空间,在 Linux 内核中使用一个叫作 VMA 的术语来描述,它是vm_area_struct数据结构的简称,在虚拟内存管理部分会详细介绍它。另外,/proc/pid/smaps节点会提供更多的地址映射的细节,以代码段的VMA和堆的VMA为例。

另外,/proc/pid/smaps节点会提供更多的地址映射的细节,以代码段的VMA和堆的VMA为例。

这里就不深入去讲诉这些,毕竟咱们这是宏观篇,对内存从不同角度有个认识,有个大概的了解,目的就达到了。

目录
相关文章
|
7天前
|
机器学习/深度学习 缓存 监控
linux查看CPU、内存、网络、磁盘IO命令
`Linux`系统中,使用`top`命令查看CPU状态,要查看CPU详细信息,可利用`cat /proc/cpuinfo`相关命令。`free`命令用于查看内存使用情况。网络相关命令包括`ifconfig`(查看网卡状态)、`ifdown/ifup`(禁用/启用网卡)、`netstat`(列出网络连接,如`-tuln`组合)以及`nslookup`、`ping`、`telnet`、`traceroute`等。磁盘IO方面,`iostat`(如`-k -p ALL`)显示磁盘IO统计,`iotop`(如`-o -d 1`)则用于查看磁盘IO瓶颈。
|
2天前
|
Linux
Linux rsyslog占用内存CPU过高解决办法
该文档描述了`rsyslog`占用内存过高的问题及其解决方案。
21 4
|
12天前
|
存储 缓存 监控
Java内存管理:垃圾回收与内存泄漏
【4月更文挑战第16天】本文探讨了Java的内存管理机制,重点在于垃圾回收和内存泄漏。垃圾回收通过标记-清除过程回收无用对象,Java提供了多种GC类型,如Serial、Parallel、CMS和G1。内存泄漏导致内存无法释放,常见原因包括静态集合、监听器、内部类、未关闭资源和缓存。内存泄漏影响性能,可能导致应用崩溃。避免内存泄漏的策略包括代码审查、使用分析工具、合理设计和及时释放资源。理解这些原理对开发高性能Java应用至关重要。
|
20天前
|
存储 缓存 监控
Linux内存和硬盘空间管理技巧
了解Linux内存和硬盘管理技巧,提升系统性能和稳定性。使用`free`, `top`, `vmstat`监控内存,通过`sync`, `echo 1 &gt; /proc/sys/vm/drop_caches`清理缓存。利用Swap分区释放内存。借助`df`, `du`检查硬盘空间,清理无用文件,使用`clean-old`, `gzip`, `tar`压缩归档。查找大文件用`find`和`du`,确保
33 0
|
21天前
|
Prometheus 监控 Cloud Native
【Linux】查看系统内存命令(详细讲解)
【Linux】查看系统内存命令(详细讲解)
|
25天前
|
存储 缓存 监控
深入解析linux内存指标:快速定位系统内存问题的有效技巧与实用方法(free、top、ps、vmstat、cachestat、cachetop、sar、swap、动态内存、cgroops、oom)
深入解析linux内存指标:快速定位系统内存问题的有效技巧与实用方法(free、top、ps、vmstat、cachestat、cachetop、sar、swap、动态内存、cgroops、oom)
|
1月前
|
存储 JSON 监控
Higress Controller**不是将配置信息推送到Istio的内存存储里面的**。
【2月更文挑战第30天】Higress Controller**不是将配置信息推送到Istio的内存存储里面的**。
14 1
|
1月前
|
存储 C语言
C语言--------数据在内存中的存储
C语言--------数据在内存中的存储
26 0
|
2天前
|
存储 算法
【三种方法】求一个整数存储在内存中二进制中的1的个数附两道课外练习题
【三种方法】求一个整数存储在内存中二进制中的1的个数附两道课外练习题
7 0
|
2天前
|
存储
数据在内存中的存储之整数存储
数据在内存中的存储之整数存储
10 0