Linux内核分析与应用4-内存管理

简介: Linux内核分析与应用4-内存管理

本系列是对 陈莉君 老师 Linux 内核分析与应用 的学习与记录。讲的非常之好,推荐观看

留此记录,蜻蜓点水,可作抛砖引玉

image.png

4.1 Linux内存管理机制

lscpu 命令, 类似是优化后的 cat /proc/cpuinfo

微信截图_20230926010328.png

微信截图_20230926010336.png

实现虚拟内存的几种机制:

微信截图_20230926010416.png

微信截图_20230926010426.png

当 程序一旦跑起来,那就变成了一个进程

一个进程的用户地址空间由两个数据结构来描述, mm_struct和  vma_area_struct ,前者对进程整个用户空间进行描述,后者对用户空间的各个内存区进行描述

  • 内存映射区(MMR,Memory Mapping Region)
  • 虚拟内存区(VMA)


对于mm_struct,最新版本的内核代码定义在[mm_types.h]这个文件中

微信截图_20230926010440.png

微信截图_20230926010447.png

对于vma_area_struct :

image.png

mm_struct结构是由一个个VMA组成的

微信截图_20230926010644.png

参考<深入理解Linux内核>第8,9章




4.2 进程用户空间管理机制


写时复制技术(copy on write)

调用do_mmap()创建一个"虚存区"

虚存区分三种: 私有映射,共享映射,匿名映射

微信截图_20230926010747.png

微信截图_20230926010754.png

上图显示了该进程 各个区的 起始地址

微信截图_20230926010806.png

请页机制,实现虚存管理的重要手段.

当一个进程运行的时候,CPU访问的是用户空间的虚地址, Linux仅把当前要使用的少量页面装入到内存, 需要时通过请页机制将特定的页面调入到内存;当访问的页不在内存时,就产生一个页故障,并报告故障的原因.

image.png

如果是编程引起的异常,而且还发生在内核态,那需要毫不含糊地杀死该进程; 如果发生在用户态,说明是一个无效的内存引用,程序要停止执行; 如果是一个真正的缺页引起的异常,而且有合法的权限,这时会进入到缺页异常处理程序

微信截图_20230926010900.png

do_page_fault()函数


用户进程访问内存 分析:

用户态进程独占 虚拟地址空间,两个进程的虚拟地址空间完全可能是相同的. 在访问用户态虚拟内存空间时,如果没有映射到物理地址,这时就需要通过请页机制发出缺页异常的请求, 缺页异常陷入内核,分配物理地址空间,与用户态虚拟地址空间就建立起了映射关系

微信截图_20230926010937.png

微信截图_20230926010945.png

4.3 物理内存的 分配与回收机制(上)


当我们说一个进程在执行的时候, 我们在说什么呢?

从操作系统角度看,一看进程最关键的特征,是其拥有独立的虚拟地址空间.

微信截图_20230926011001.png

微信截图_20230926011008.png

微信截图_20230926011022.png

微信截图_20230926011032.png

"请页机制":可以为进程请求物理内存

malloc()从堆中分配一块内存,并将首地址返回给用户.

微信截图_20230926011131.png

"低端内存"和"高端内存"

微信截图_20230926011142.png

微信截图_20230926011152.png

  • 伙伴算法: 负责大块连续物理内存的分配和释放,以页框为基本单位. 该机制可以避免外部碎片.
  • per-CPU页框高速缓存: 内核经常请求和释放单个页框,该缓存包含预先分配的页框,用于满足本地CPU发出的单一页框请求.
  • slab缓存: 服务小块物理内存的分配,并且它也作为高速缓存,主要针对内核中经常分配并释放的对象.
  • vmalloc机制: 使得内核通过连续的线性地址来访问非连续的物理页框,这样可以最大限度的使用高端物理内存.


slab分配机制 -- 分配小块内存

微信截图_20230926011235.png

微信截图_20230926011242.png

内核空间非连续内存区的分配

微信截图_20230926011257.png

微信截图_20230926011304.png

微信截图_20230926011314.png

最后都要调用"伙伴算法"


参考<深入理解Linux内核>第三版第八章


思考:

  1. 用户空间(进程)是否有高端内存概念?
  2. 64位 内核中有高端内存的说法吗?
  3. 在32位和64位系统上,用户进程能访问多少物理内存? 内核代码能访问多少物理内存?


4.4 物理内存的 分配与回收机制(下)

微信截图_20230926011415.png

image.png

UMA架构与NUMA架构下的自旋锁(CLH锁与MCS锁)

Linux内核学习笔记:SMP、UMA、NUMA

NUMA 的结构比 SMP 的结构更有优势,为什么现在的电脑不用 NUMA 的结构呢?

微信截图_20230926011439.png

微信截图_20230926011447.png

微信截图_20230926011455.png

微信截图_20230926011503.png

从用户态到内核态的内存分配:


当用户程序通过系统调用,申请内存时,首先陷入内核,建立虚拟地址空间的映射,获得一块虚拟内存区VMA. 当进程对这块虚存区进行访问时,如果物理内存尚未分配,此时发生一个缺页异常,通过getfreepage申请一个或者多个物理页面,并将此物理内存和虚拟内存的映射关系写入页表.


思考:

在物理内存为1G的计算机中,能否malloc(1.6G)? 为什么?


目录
相关文章
|
3天前
|
算法 Linux 调度
深入理解Linux内核调度器:从基础到优化####
本文旨在通过剖析Linux操作系统的心脏——内核调度器,为读者揭开其高效管理CPU资源的神秘面纱。不同于传统的摘要概述,本文将直接以一段精简代码片段作为引子,展示一个简化版的任务调度逻辑,随后逐步深入,详细探讨Linux内核调度器的工作原理、关键数据结构、调度算法演变以及性能调优策略,旨在为开发者与系统管理员提供一份实用的技术指南。 ####
19 4
|
4天前
|
缓存 负载均衡 Linux
深入理解Linux内核调度器
本文探讨了Linux操作系统核心组件之一——内核调度器的工作原理和设计哲学。不同于常规的技术文章,本摘要旨在提供一种全新的视角来审视Linux内核的调度机制,通过分析其对系统性能的影响以及在多核处理器环境下的表现,揭示调度器如何平衡公平性和效率。文章进一步讨论了完全公平调度器(CFS)的设计细节,包括它如何处理不同优先级的任务、如何进行负载均衡以及它是如何适应现代多核架构的挑战。此外,本文还简要概述了Linux调度器的未来发展方向,包括对实时任务支持的改进和对异构计算环境的适应性。
23 6
|
5天前
|
缓存 Linux 开发者
Linux内核中的并发控制机制:深入理解与应用####
【10月更文挑战第21天】 本文旨在为读者提供一个全面的指南,探讨Linux操作系统中用于实现多线程和进程间同步的关键技术——并发控制机制。通过剖析互斥锁、自旋锁、读写锁等核心概念及其在实际场景中的应用,本文将帮助开发者更好地理解和运用这些工具来构建高效且稳定的应用程序。 ####
21 5
|
5天前
|
算法 Unix Linux
深入理解Linux内核调度器:原理与优化
本文探讨了Linux操作系统的心脏——内核调度器(Scheduler)的工作原理,以及如何通过参数调整和代码优化来提高系统性能。不同于常规摘要仅概述内容,本摘要旨在激发读者对Linux内核调度机制深层次运作的兴趣,并简要介绍文章将覆盖的关键话题,如调度算法、实时性增强及节能策略等。
|
5天前
|
缓存 运维 网络协议
深入Linux内核架构:操作系统的核心奥秘
深入Linux内核架构:操作系统的核心奥秘
22 2
|
6月前
|
缓存 监控 Linux
linux 内存监控
linux 内存监控
57 1
|
监控 Linux
linux性能监控:内存监控命令之free命令
linux性能监控:内存监控命令之free命令
239 1
linux性能监控:内存监控命令之free命令
|
存储 监控 Shell
Linux 性能监控之CPU&内存&I/O监控Shell脚本2
Linux 性能监控之CPU&内存&I/O监控Shell脚本2
515 0
|
监控 Shell Linux
Linux 性能监控之CPU&内存&I/O监控Shell脚本1
Linux 性能监控之CPU&内存&I/O监控Shell脚本1
186 0
|
缓存 监控 Linux
Linux 内存和系统性能常用监控管理命令(上)|学习笔记
快速学习 Linux 内存和系统性能常用监控管理命令(上)
Linux 内存和系统性能常用监控管理命令(上)|学习笔记