GNU/Linux下进程与虚拟内存

简介: 对进程与虚拟内存的简单理解


本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。


intro

  • 本篇博客是对进程的结构与属性,虚拟内存的布局和内容的简单讲解

进程与程序之间的关系

process 是 program的实体化

  • 程序包含了是一系列信息的文件,这些信息描述了如何在运行时创建一个进程

    • 二进制格式表示:每个程序文件都包含用于描述可执行文件格式的 元信息(meta information),内核(kernel)利用此信息来解释文件中的其他信息
    • 机器语言指令
    • 程序入口地址
    • 数据
    • 符号表及重定位表
    • 共享库和动态链接信息
    • 其他
  • 准确来说:process是内核定义的抽象的实体,并为该实体分配用以执行程序的各项系统资源

进程由用户内存空间 + 一系列内核数据结构组成

  • 用户内存空间与内核数据结构分别存放进程的相关信息
  • 用户内存空间:

    • 程序代码
    • 代码所使用变量
  • 内核数据结构:维护进程状态信息

    • 与进程相关的标识号
    • 虚拟内存表
    • 打开的文件描述符表
    • 信号传递及处理的有关信息
    • 进程资源使用及限制
    • 当前工作目录
    • 大量其他信息...

进程内存布局

  • 每一个C/C++程序员都会遇到可恶的Segmentation fault,它的发生是因为对内存进行了不当操作,想要很好的理解这个错误,就要搞清楚进程内存布局是怎么回事,我们到底是在操作了什么东西使SIGSEGV信号产生并杀死了进程
  • 心动的感觉

  • 进程所分配的内存由很多部分组成,通常称之为""

    • 文本段:(text)

      • 包含了程序运行的程序机器语言指令
      • 只读属性
      • 可共享,一份程序代码的拷贝可以映射到所有进程的虚拟地址空间中
    • 初始化数据段:(data)

      • 显示初始化的全局变量和静态变量
    • 未初始化数据段:(bss)

      • 未进行显示初始化的全局变量和静态变量
      • BSS段(block started by symbol)
      • 程序启动前,系统将本段所有内存初始化为0(未初始化变量为0的原因)
      • 可执行文件只需记录其位置及所需大小,直到运行时再有程序加载器为其分配空间
    • 栈:(stack)

      • 动态增长与收缩的段,由栈帧(stack frames)组成
      • 栈帧中存储了函数的局部变量,实参返回值
    • 堆:(heap)

      • 可在运行时进行动态内存分配的区域
      • 顶端叫做program break
  • 内存布局

  • 由图可知,进程在运行中对内存的访问是有限制的,段错误发生在访问了不可访问的内存,这个内存要么是不存在的(例如越过了progrram break),要么是受系统保护的

虚拟内存管理

  • 进程内存布局存在于虚拟内存中
  • 虚拟内存管理技术利用了访问局部性:追求高效使用CPU和RAM

    • 空间局部性(Spatial locality):是指程序倾向于访问在最近访问过的内存地址附近的内存(由于指令是顺序执行的,且有时会按顺序处理数据结构)
    • 时间局部性(Temporal locality):是指程序倾向于在不久的将来再次访问最近刚访问过的内存地址(由于循环)
    • 由于访问局部性的存在,使程序在只有部分地址空间存在于RAM的情况下依然可以执行
  • 虚拟内存规划:

    • 将每个程序分割为小型的,固定大小的页(page)单元
    • 将RAM(物理硬件)分为一系列与虚拟页尺寸相当的页帧
    • 任一时刻,每个程序仅有部分页需要驻留在物理内存页帧中:这些页构成了所谓驻留集(resident set)
    • 程序未使用的页拷贝保存在交换区(swap area)内—这是磁盘空间中的保留区域(计算机RAM的补充)
  • 内核为每个进程维护一个页表

    • 描述了每*在进程虚拟地址空间(virtual address space)中的位置(可为进程所用的所有虚拟内存页面的集合)
    • 页表中每个条目要么指出一个虚拟页面在RAM中的位置,要么表明其当前驻留在磁盘上(不是在RAM中就是在磁盘上还未被加载)
    • 并非所有的地址范围都需要页表条目,大段的未使用的虚拟地址空间就没必要为其维护页表条目
    • 若进程试图访问的地址无页表条目与之对应,那么进程将收到SIGSEGV信号

  • 内核能够为进程分配和释放/页表条目,所有进程的虚拟地址范围在其生命周期可以发生变化

    • 栈向下增长超出之前曾达到的位置
    • 在堆中分配或释放内存时,通过调用 brk()、 sbrk()或 malloc 函数族来提升 program break 的位置
    • 当调用 shmat()连接 System V 共享内存区时, 或者当调用 shmdt()脱离共享内存区时
    • 当调用 mmap()创建内存映射时,或者当调用 munmap()解除内存映射时
  • 虚拟内存管理使进程的虚拟地址空间与 RAM 物理地址空间隔离开来,这带来许多优点:

    • 进程与进程,进程与内核相互隔离:一个进程不能读取或修改另一进程或内核的内存
    • 可以实现共享内存:内核可以使不同进程的页表条目指向相同的RAM页

      • 执行同一程序的多个进程可共享一份(只读的)程序代码副本
      • 进程可以使用 shmget()和 mmap()系统调用显式地请求与其他进程共享内存区:实现进程间通信
      • 实现内存保护机制:某一进程对某一页帧为只读,而另一进程则可以读写同一页帧
      • 程序员无需操心RAM的物理布局
      • 加速程序的加载与运行
      • RAM中容纳的程序变多,CPU可执行程序变多,效率提高

栈和栈帧

  • 函数的调用和返回使栈的增长和收缩呈线性
  • 专用寄存器—栈指针(stack pointer),用于跟踪当前栈顶。每次调用函数时,会在栈上新分配一帧,每当函数返回时,再从栈上将此帧移去
  • 内核栈是每个进程保留在内核内存中的内存区域,在执行系统调用的过程中供(内核)内部函数调用使用
  • 用户栈帧保存:

    • 函数实参和局部变量
    • 函数调用的链接信息:每当一函数调用另一函数时,会在被调用函数的栈帧中保存使用过的寄存器的副本,以便函数返回时能为函数调用者将寄存器恢复原状
  • 因为函数能够嵌套调用,所以栈中可能有多个栈帧

参考

  • 《TLPI》
目录
相关文章
|
6月前
|
并行计算 Linux
Linux内核中的线程和进程实现详解
了解进程和线程如何工作,可以帮助我们更好地编写程序,充分利用多核CPU,实现并行计算,提高系统的响应速度和计算效能。记住,适当平衡进程和线程的使用,既要拥有独立空间的'兄弟',也需要在'家庭'中分享和并行的成员。对于这个世界,现在,你应该有一个全新的认识。
249 67
|
5月前
|
Web App开发 Linux 程序员
获取和理解Linux进程以及其PID的基础知识。
总的来说,理解Linux进程及其PID需要我们明白,进程就如同汽车,负责执行任务,而PID则是独特的车牌号,为我们提供了管理的便利。知道这个,我们就可以更好地理解和操作Linux系统,甚至通过对进程的有效管理,让系统运行得更加顺畅。
135 16
|
5月前
|
缓存 Linux 数据安全/隐私保护
Linux环境下如何通过手动调用drop_caches命令释放内存
总的来说,记录住“drop_caches” 命令并理解其含义,可以让你在日常使用Linux的过程中更加娴熟和自如。
1026 23
|
5月前
|
Unix Linux
对于Linux的进程概念以及进程状态的理解和解析
现在,我们已经了解了Linux进程的基础知识和进程状态的理解了。这就像我们理解了城市中行人的行走和行为模式!希望这个形象的例子能帮助我们更好地理解这个重要的概念,并在实际应用中发挥作用。
107 20
|
4月前
|
监控 Shell Linux
Linux进程控制(详细讲解)
进程等待是系统通过调用特定的接口(如waitwaitpid)来实现的。来进行对子进程状态检测与回收的功能。
84 0
|
4月前
|
存储 负载均衡 算法
Linux2.6内核进程调度队列
本篇文章是Linux进程系列中的最后一篇文章,本来是想放在上一篇文章的结尾的,但是想了想还是单独写一篇文章吧,虽然说这部分内容是比较难的,所有一般来说是简单的提及带过的,但是为了让大家对进程有更深的理解与认识,还是看了一些别人的文章,然后学习了学习,然后对此做了总结,尽可能详细的介绍明白。最后推荐一篇文章Linux的进程优先级 NI 和 PR - 简书。
115 0
|
4月前
|
存储 Linux Shell
Linux进程概念-详细版(二)
在Linux进程概念-详细版(一)中我们解释了什么是进程,以及进程的各种状态,已经对进程有了一定的认识,那么这篇文章将会继续补全上篇文章剩余没有说到的,进程优先级,环境变量,程序地址空间,进程地址空间,以及调度队列。
81 0
|
4月前
|
Linux 调度 C语言
Linux进程概念-详细版(一)
子进程与父进程代码共享,其子进程直接用父进程的代码,其自己本身无代码,所以子进程无法改动代码,平时所说的修改是修改的数据。为什么要创建子进程:为了让其父子进程执行不同的代码块。子进程的数据相对于父进程是会进行写时拷贝(COW)。
81 0
|
7月前
|
监控 Linux Python
Linux系统资源管理:多角度查看内存使用情况。
要知道,透过内存管理的窗口,我们可以洞察到Linux系统运行的真实身姿,如同解剖学家透过微观镜,洞察生命的奥秘。记住,不要惧怕那些高深的命令和参数,他们只是你掌握系统"魔法棒"的钥匙,熟练掌握后,你就可以骄傲地说:Linux,我来了!
232 27
|
7月前
|
Linux 数据库 Perl
【YashanDB 知识库】如何避免 yasdb 进程被 Linux OOM Killer 杀掉
本文来自YashanDB官网,探讨Linux系统中OOM Killer对数据库服务器的影响及解决方法。当内存接近耗尽时,OOM Killer会杀死占用最多内存的进程,这可能导致数据库主进程被误杀。为避免此问题,可采取两种方法:一是在OS层面关闭OOM Killer,通过修改`/etc/sysctl.conf`文件并重启生效;二是豁免数据库进程,由数据库实例用户借助`sudo`权限调整`oom_score_adj`值。这些措施有助于保护数据库进程免受系统内存管理机制的影响。