LINUX系统编程 LINUX 虚拟内存

简介: LINUX 虚拟内存 以32位操作系统为例子,因为64位系统虚拟地址过大为2^64,32位仅仅为2^32=4G更利于描述,但是原理东西都一样 这首先要从程序和进程之间的关系开始,我们一般写好一段C\C++代码编译后仅仅为可执行文件假设为a.out,我们 运行a.out的时候,这个才叫进程,进程是OS级别抽象的实体(PCB task_struct结构体),为程序运行进行各种检查和 系统资源分配,一个PCB包含部分信息如下: (摘至刑文鹏LINUX系统编程讲义) * 进程id。
LINUX 虚拟内存
以32位操作系统为例子,因为64位系统虚拟地址过大为2^64,32位仅仅为2^32=4G更利于描述,但是原理东西都一样

这首先要从程序和进程之间的关系开始,我们一般写好一段C\C++代码编译后仅仅为可执行文件假设为a.out,我们
运行a.out的时候,这个才叫进程,进程是OS级别抽象的实体(PCB task_struct结构体),为程序运行进行各种检查和
系统资源分配,一个PCB包含部分信息如下:
(摘至刑文鹏LINUX系统编程讲义)
* 进程id。系统中每个进程有唯一的id,在C语言中用pid_t类型表示,其实就是一个非
负整数。
* 进程的状态,有运行、挂起、停止、僵尸等状态。
* 进程切换时需要保存和恢复的一些CPU寄存器。
* 描述虚拟地址空间的信息。
* 描述控制终端的信息。
* 当前工作目录(Current Working Directory)。
* umask掩码。
* 文件描述符表,包含很多指向file结构体的指针。
* 和信号相关的信息。
* 用户id和组id。
* 控制终端、Session和进程组。
* 进程可以使用的资源上限(Resource Limit)

每个进程分配的内存包含很多称之为段的部分组成并且放到0-3G用户态虚拟地址空间中,3-4G为kernel太虚拟地址(注意我们以32位为列),
PCB就存放在我们的kernel态中。
下面描述0-3G用户态虚拟内存段
由下向上分别是
1、代码段,是程序运行的机器代码,一个程序代码可以多个程序
   同时运行,那么这个代码段可以同时存在于不同进程的不同
   虚拟内存地址中,等会用图说明
2、初始化数据段,这个就是C\C++已经初始化的全局变量和静态变量
   我们知道静态变量是存在于程序结束,而全局变量(非静态)的作用
   域也是全部代码块,那么这些变量需要放到一个非栈空间中
   (关于静态变量可以查看如下链接
  http://blog.itpub.net/7728585/viewspace-2119670/
   )
3、未初始化数据段,为初始化的全局变量和静态变量,未初始化本
   段的内容初始化为0
4 、堆(heap)段,是在运行的时候动态进程分配的内存区域,比如malloc
下面以一段简单代码说明,目的仅仅在于说明上面说的:
(未分配虚拟内存地址)
5、栈(stack)段,我们知道栈是一个后进先出的数据结构,用于存储局部
   变量,实参和返回值。它由栈帧组成(stack frames), 每次新的函数调用
   都会分配一个新的栈帧比如下面的getv rev都在main函数栈帧里面。
    而没有使用到局部变量t 则在add函数栈帧里面

6、argc,environ 数组信息,固定大小


点击(此处)折叠或打开

  1. #include<stdio.h>
  2. #include<stdlib.h>
  3. #include<string.h>

  4. typedef unsigned int uint;

  5. static uint step=1024;//全局初始化静态变量,初始化数据段
  6. uint iniv=1; //全局初始化非静态变量,可以使用extern访问,初始化数据段

  7. static uint zero;//全局未初始化静态变量,未初始化数据段


  8. uint add(uint inv) //值传递 栈 for add funcation stack frame
  9. {
  10.      int t; // 栈 for add funcation stack frames
  11.      return inv*step+zero; //for add funcation stack frames
  12. }


  13. int main(void)
  14. {
  15.         uint getv = 10; //for main funcation stack frame
  16.         uint rev; //for main funcation stack frames

  17.         char* p; //for main funcation stack frames

  18.         rev = add(getv);
  19.         p = calloc(6,1); //
  20.         strcpy(p,"test:");
  21.         printf("%s%u\n",p,rev);
  22.         return 0;
  23. }
本来很多图像自己画,但是发现比较麻烦,并且效果可能并不如原图好,所以直接
摘录.
关于进程各段组织如下(摘自UNIX/LINUX系统编程手册)


关于进程用户态和内核态的关系如下(摘自刑文鹏LINUX系统编程讲义)




为了方便管理LINUX将内存分为叫做页帧的单元(我们熟悉的4K),然后内核中就需要保存一份进程虚拟地址到实际地址的映射表,如果访问的数据不再物理内存
中就发生page fault,将磁盘中的数据复制到物理内存,建立虚拟地址到物理内存的映射关系,一个进程访问数据是通过虚拟地址进行访问,然后通过映射表对应
到实际的物理内存。
由于64位系统需要管理的内存页非常巨大在LINUX中使用三级或者四级(内核2.6.11以上使用四级)映射表,关于映射表实际实现这里没有过多讨论,因为这个属于
LINUX内核原理的东西,我也没有能力研究。
(实际是虚拟地址--》线性地址--》物理地址,但是LINUX中虚拟地址和线性地址是相同的。)


映射表直观图(摘自UNIX/LINUX系统编程手册)

四级映射表(摘自pdf内存寻址)


最后我们需要牢牢的记住的就是每个进程都有0-4G的虚拟地址空间可供分配,当然没有分配就是未使用的,进程访问的是内存虚拟地址,虚拟地址空间的数据可能并不
在实际内存中,当进程访问到虚拟地址的数据并不在内存中,那么发生page fault,将磁盘中的数据复制到物理内存,建立虚拟地址到物理内存的映射关系,如果在实际内存不足的情况下启用swap做为物理内存的补充,将部分曾经使用过的数据而当前没有使用的数据拷贝到SWAP中。而数据的过期处理一般为用户程序自己控制比如LRU链表。
(这也是为什么某些数据库比如ORACLE MYSQL,在一台64G的内存的机器上同时跑2个实例都分配64G左右内存能够起来,但是过一段时间可能报内存不足的原因)


某些观点为作者自己观点如果有误请指出
参考资料:
1、UNIX/LINUX系统编程手册
2、LINUX操作系统原理与应用
3、刑文鹏LINUX系统编程讲义
4、pdf内存寻址
相关文章
|
6月前
|
Ubuntu Linux Anolis
Linux系统禁用swap
本文介绍了在新版本Linux系统(如Ubuntu 20.04+、CentOS Stream、openEuler等)中禁用swap的两种方法。传统通过注释/etc/fstab中swap行的方式已失效,现需使用systemd管理swap.target服务或在/etc/fstab中添加noauto参数实现禁用。方法1通过屏蔽swap.target适用于新版系统,方法2通过修改fstab挂载选项更通用,兼容所有系统。
523 3
Linux系统禁用swap
|
6月前
|
Linux
Linux系统修改网卡名为eth0、eth1
在Linux系统中,可通过修改GRUB配置和创建Udev规则或使用systemd链接文件,将网卡名改为`eth0`、`eth1`等传统命名方式,适用于多种发行版并支持多网卡配置。
1039 3
|
Ubuntu Linux 网络安全
Linux系统初始化脚本
一款支持Rocky、CentOS、Ubuntu、Debian、openEuler等主流Linux发行版的系统初始化Shell脚本,涵盖网络配置、主机名设置、镜像源更换、安全加固等多项功能,适配单/双网卡环境,支持UEFI引导,提供多版本下载与持续更新。
627 3
Linux系统初始化脚本
|
6月前
|
缓存 监控 Linux
Linux内存问题排查命令详解
Linux服务器卡顿?可能是内存问题。掌握free、vmstat、sar三大命令,快速排查内存使用情况。free查看实时内存,vmstat诊断系统整体性能瓶颈,sar实现长期监控,三者结合,高效定位并解决内存问题。
527 0
Linux内存问题排查命令详解
|
7月前
|
运维 Linux 开发者
Linux系统中使用Python的ping3库进行网络连通性测试
以上步骤展示了如何利用 Python 的 `ping3` 库来检测网络连通性,并且提供了基本错误处理方法以确保程序能够优雅地处理各种意外情形。通过简洁明快、易读易懂、实操性强等特点使得该方法非常适合开发者或系统管理员快速集成至自动化工具链之内进行日常运维任务之需求满足。
457 18
|
6月前
|
安全 Linux Shell
Linux系统提权方式全面总结:从基础到高级攻防技术
本文全面总结Linux系统提权技术,涵盖权限体系、配置错误、漏洞利用、密码攻击等方法,帮助安全研究人员掌握攻防技术,提升系统防护能力。
599 1
|
6月前
|
监控 安全 Linux
Linux系统提权之计划任务(Cron Jobs)提权
在Linux系统中,计划任务(Cron Jobs)常用于定时执行脚本或命令。若配置不当,攻击者可利用其提权至root权限。常见漏洞包括可写的Cron脚本、目录、通配符注入及PATH变量劫持。攻击者通过修改脚本、创建恶意任务或注入命令实现提权。系统管理员应遵循最小权限原则、使用绝对路径、避免通配符、设置安全PATH并定期审计,以防范此类攻击。
1194 1
|
8月前
|
存储
阿里云轻量应用服务器收费标准价格表:200Mbps带宽、CPU内存及存储配置详解
阿里云香港轻量应用服务器,200Mbps带宽,免备案,支持多IP及国际线路,月租25元起,年付享8.5折优惠,适用于网站、应用等多种场景。
2695 0
|
8月前
|
存储 缓存 NoSQL
内存管理基础:数据结构的存储方式
数据结构在内存中的存储方式主要包括连续存储、链式存储、索引存储和散列存储。连续存储如数组,数据元素按顺序连续存放,访问速度快但扩展性差;链式存储如链表,通过指针连接分散的节点,便于插入删除但访问效率低;索引存储通过索引表提高查找效率,常用于数据库系统;散列存储如哈希表,通过哈希函数实现快速存取,但需处理冲突。不同场景下应根据访问模式、数据规模和操作频率选择合适的存储结构,甚至结合多种方式以达到最优性能。掌握这些存储机制是构建高效程序和理解高级数据结构的基础。
828 0