LINUX系统编程 LINUX 虚拟内存

简介: LINUX 虚拟内存 以32位操作系统为例子,因为64位系统虚拟地址过大为2^64,32位仅仅为2^32=4G更利于描述,但是原理东西都一样 这首先要从程序和进程之间的关系开始,我们一般写好一段C\C++代码编译后仅仅为可执行文件假设为a.out,我们 运行a.out的时候,这个才叫进程,进程是OS级别抽象的实体(PCB task_struct结构体),为程序运行进行各种检查和 系统资源分配,一个PCB包含部分信息如下: (摘至刑文鹏LINUX系统编程讲义) * 进程id。
LINUX 虚拟内存
以32位操作系统为例子,因为64位系统虚拟地址过大为2^64,32位仅仅为2^32=4G更利于描述,但是原理东西都一样

这首先要从程序和进程之间的关系开始,我们一般写好一段C\C++代码编译后仅仅为可执行文件假设为a.out,我们
运行a.out的时候,这个才叫进程,进程是OS级别抽象的实体(PCB task_struct结构体),为程序运行进行各种检查和
系统资源分配,一个PCB包含部分信息如下:
(摘至刑文鹏LINUX系统编程讲义)
* 进程id。系统中每个进程有唯一的id,在C语言中用pid_t类型表示,其实就是一个非
负整数。
* 进程的状态,有运行、挂起、停止、僵尸等状态。
* 进程切换时需要保存和恢复的一些CPU寄存器。
* 描述虚拟地址空间的信息。
* 描述控制终端的信息。
* 当前工作目录(Current Working Directory)。
* umask掩码。
* 文件描述符表,包含很多指向file结构体的指针。
* 和信号相关的信息。
* 用户id和组id。
* 控制终端、Session和进程组。
* 进程可以使用的资源上限(Resource Limit)

每个进程分配的内存包含很多称之为段的部分组成并且放到0-3G用户态虚拟地址空间中,3-4G为kernel太虚拟地址(注意我们以32位为列),
PCB就存放在我们的kernel态中。
下面描述0-3G用户态虚拟内存段
由下向上分别是
1、代码段,是程序运行的机器代码,一个程序代码可以多个程序
   同时运行,那么这个代码段可以同时存在于不同进程的不同
   虚拟内存地址中,等会用图说明
2、初始化数据段,这个就是C\C++已经初始化的全局变量和静态变量
   我们知道静态变量是存在于程序结束,而全局变量(非静态)的作用
   域也是全部代码块,那么这些变量需要放到一个非栈空间中
   (关于静态变量可以查看如下链接
  http://blog.itpub.net/7728585/viewspace-2119670/
   )
3、未初始化数据段,为初始化的全局变量和静态变量,未初始化本
   段的内容初始化为0
4 、堆(heap)段,是在运行的时候动态进程分配的内存区域,比如malloc
下面以一段简单代码说明,目的仅仅在于说明上面说的:
(未分配虚拟内存地址)
5、栈(stack)段,我们知道栈是一个后进先出的数据结构,用于存储局部
   变量,实参和返回值。它由栈帧组成(stack frames), 每次新的函数调用
   都会分配一个新的栈帧比如下面的getv rev都在main函数栈帧里面。
    而没有使用到局部变量t 则在add函数栈帧里面

6、argc,environ 数组信息,固定大小


点击(此处)折叠或打开

  1. #include<stdio.h>
  2. #include<stdlib.h>
  3. #include<string.h>

  4. typedef unsigned int uint;

  5. static uint step=1024;//全局初始化静态变量,初始化数据段
  6. uint iniv=1; //全局初始化非静态变量,可以使用extern访问,初始化数据段

  7. static uint zero;//全局未初始化静态变量,未初始化数据段


  8. uint add(uint inv) //值传递 栈 for add funcation stack frame
  9. {
  10.      int t; // 栈 for add funcation stack frames
  11.      return inv*step+zero; //for add funcation stack frames
  12. }


  13. int main(void)
  14. {
  15.         uint getv = 10; //for main funcation stack frame
  16.         uint rev; //for main funcation stack frames

  17.         char* p; //for main funcation stack frames

  18.         rev = add(getv);
  19.         p = calloc(6,1); //
  20.         strcpy(p,"test:");
  21.         printf("%s%u\n",p,rev);
  22.         return 0;
  23. }
本来很多图像自己画,但是发现比较麻烦,并且效果可能并不如原图好,所以直接
摘录.
关于进程各段组织如下(摘自UNIX/LINUX系统编程手册)


关于进程用户态和内核态的关系如下(摘自刑文鹏LINUX系统编程讲义)




为了方便管理LINUX将内存分为叫做页帧的单元(我们熟悉的4K),然后内核中就需要保存一份进程虚拟地址到实际地址的映射表,如果访问的数据不再物理内存
中就发生page fault,将磁盘中的数据复制到物理内存,建立虚拟地址到物理内存的映射关系,一个进程访问数据是通过虚拟地址进行访问,然后通过映射表对应
到实际的物理内存。
由于64位系统需要管理的内存页非常巨大在LINUX中使用三级或者四级(内核2.6.11以上使用四级)映射表,关于映射表实际实现这里没有过多讨论,因为这个属于
LINUX内核原理的东西,我也没有能力研究。
(实际是虚拟地址--》线性地址--》物理地址,但是LINUX中虚拟地址和线性地址是相同的。)


映射表直观图(摘自UNIX/LINUX系统编程手册)

四级映射表(摘自pdf内存寻址)


最后我们需要牢牢的记住的就是每个进程都有0-4G的虚拟地址空间可供分配,当然没有分配就是未使用的,进程访问的是内存虚拟地址,虚拟地址空间的数据可能并不
在实际内存中,当进程访问到虚拟地址的数据并不在内存中,那么发生page fault,将磁盘中的数据复制到物理内存,建立虚拟地址到物理内存的映射关系,如果在实际内存不足的情况下启用swap做为物理内存的补充,将部分曾经使用过的数据而当前没有使用的数据拷贝到SWAP中。而数据的过期处理一般为用户程序自己控制比如LRU链表。
(这也是为什么某些数据库比如ORACLE MYSQL,在一台64G的内存的机器上同时跑2个实例都分配64G左右内存能够起来,但是过一段时间可能报内存不足的原因)


某些观点为作者自己观点如果有误请指出
参考资料:
1、UNIX/LINUX系统编程手册
2、LINUX操作系统原理与应用
3、刑文鹏LINUX系统编程讲义
4、pdf内存寻址
相关文章
|
4天前
|
Linux Shell 网络安全
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
本指南介绍如何利用 HTA 文件和 Metasploit 框架进行渗透测试。通过创建反向 shell、生成 HTA 文件、设置 HTTP 服务器和发送文件,最终实现对目标系统的控制。适用于教育目的,需合法授权。
28 9
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
|
16小时前
|
存储 缓存 监控
Linux缓存管理:如何安全地清理系统缓存
在Linux系统中,内存管理至关重要。本文详细介绍了如何安全地清理系统缓存,特别是通过使用`/proc/sys/vm/drop_caches`接口。内容包括清理缓存的原因、步骤、注意事项和最佳实践,帮助你在必要时优化系统性能。
78 62
|
10天前
|
机器学习/深度学习 人工智能 缓存
【AI系统】推理内存布局
本文介绍了CPU和GPU的基础内存知识,NCHWX内存排布格式,以及MNN推理引擎如何通过数据内存重新排布进行内核优化,特别是针对WinoGrad卷积计算的优化方法,通过NC4HW4数据格式重排,有效利用了SIMD指令集特性,减少了cache miss,提高了计算效率。
25 3
|
12天前
|
监控 Java Android开发
深入探索Android系统的内存管理机制
本文旨在全面解析Android系统的内存管理机制,包括其工作原理、常见问题及其解决方案。通过对Android内存模型的深入分析,本文将帮助开发者更好地理解内存分配、回收以及优化策略,从而提高应用性能和用户体验。
|
11天前
|
算法 Linux
深入探索Linux内核的内存管理机制
本文旨在为读者提供对Linux操作系统内核中内存管理机制的深入理解。通过探讨Linux内核如何高效地分配、回收和优化内存资源,我们揭示了这一复杂系统背后的原理及其对系统性能的影响。不同于常规的摘要,本文将直接进入主题,不包含背景信息或研究目的等标准部分,而是专注于技术细节和实际操作。
|
14天前
|
机器学习/深度学习 人工智能 算法
【AI系统】内存分配算法
本文探讨了AI编译器前端优化中的内存分配问题,涵盖模型与硬件内存的发展、内存划分及其优化算法。文章首先分析了神经网络模型对NPU内存需求的增长趋势,随后详细介绍了静态与动态内存的概念及其实现方式,最后重点讨论了几种节省内存的算法,如空间换内存、计算换内存、模型压缩和内存复用等,旨在提高内存使用效率,减少碎片化,提升模型训练和推理的性能。
32 1
|
24天前
|
缓存 Ubuntu Linux
Linux环境下测试服务器的DDR5内存性能
通过使用 `memtester`和 `sysbench`等工具,可以有效地测试Linux环境下服务器的DDR5内存性能。这些工具不仅可以评估内存的读写速度,还可以检测内存中的潜在问题,帮助确保系统的稳定性和性能。通过合理配置和使用这些工具,系统管理员可以深入了解服务器内存的性能状况,为系统优化提供数据支持。
31 4
|
1天前
|
Ubuntu Linux C++
Win10系统上直接使用linux子系统教程(仅需五步!超简单,快速上手)
本文介绍了如何在Windows 10上安装并使用Linux子系统。首先,通过应用商店安装Windows Terminal和Linux系统(如Ubuntu)。接着,在控制面板中启用“适用于Linux的Windows子系统”并重启电脑。最后,在Windows Terminal中选择安装的Linux系统即可开始使用。文中还提供了注意事项和进一步配置的链接。
10 0
|
12天前
|
存储 Oracle 安全
服务器数据恢复—LINUX系统删除/格式化的数据恢复流程
Linux操作系统是世界上流行的操作系统之一,被广泛用于服务器、个人电脑、移动设备和嵌入式系统。Linux系统下数据被误删除或者误格式化的问题非常普遍。下面北亚企安数据恢复工程师简单聊一下基于linux的文件系统(EXT2/EXT3/EXT4/Reiserfs/Xfs) 下删除或者格式化的数据恢复流程和可行性。
|
19天前
|
存储 算法 安全
深入理解Linux内核的内存管理机制
本文旨在深入探讨Linux操作系统内核的内存管理机制,包括其设计理念、实现方式以及优化策略。通过详细分析Linux内核如何处理物理内存和虚拟内存,揭示了其在高效利用系统资源方面的卓越性能。文章还讨论了内存管理中的关键概念如分页、交换空间和内存映射等,并解释了这些机制如何协同工作以提供稳定可靠的内存服务。此外,本文也探讨了最新的Linux版本中引入的一些内存管理改进,以及它们对系统性能的影响。