Linux内核管理--内存（三）

•  高端内存

  在32位系统才有的概念，值得物理内存中高于1G的部分，低于1G的叫做低端内存。虚拟内存空间采用3:1来定义了内核与用户内存区域，如果物理内存大于1G，内核要怎么访问大于1G的部分？答案是利用zone_high的128M来实现，采用位移映射。

  
  

• 内核API

     Application Programming Interface,应用程序编程接口

• MMU

      首先明确一点，MMU的主要工作只有一个，就是把虚拟地址映射到物理地址。

     MMU是Memory Management Unit的缩写，中文名是内存管理单元，它是中央处理器（CPU）中用来管理虚拟存储器、物理存储器的控制线路，同时也负责虚拟地址映射为物理地址，是一个硬件，

MMU工作原理也就是cpu访问内存的时的操作顺序：

    1，内核发出发出VA(虚拟地址)读取指令，TLB（MMU中的一块高速缓存）首先接到，去cache里找，里面保存了VA对应的页表，如果有直接读取，如果没有就去mmu转换后的PA（物理内存地址）去读，如果再没有就发生了缺页，正常的话就是被交换到swap去了，交换回来，当然缺页还有别的原因，例如VA读取权限不够，或者VA与PA的映射关系没有建立。

• ARM 

  CPU架构

  
  

• buddyinfo

  
  

   /proc/buddyinfo是linuxbuddy系统管理物理内存的debug信息。
  

  在Linux中使用buddy算法解决物理内存的外碎片问题，其把所有空闲的内存，以2的幂次方的形式，分成11个块链表，分别对应为1、2、4、8、16、32、64、128、256、512、1024个页块。

  而linux支持NUMA技术，对于NUMA设备，NUMA系统的结点通常是由一组CPU和本地内存组成，每一个节点都有相应的本地内存，因此buddyinfo 中的Node0表示节点ID；而每一个节点下的内存设备，又可以划分为多个内存区域（zone），因此下面的显示中，对于Node0的内存，又划分类DMA、Normal、HighMem区域。而后面则是表示空闲的区域。

  此处以Normal区域进行分析，第二列值为100，表示当前系统中normal区域，可用的连续两页的内存大小为100*2*PAGE_SIZE；第三列值为52，表示当前系统中normal区域，可用的连续四页的内存大小为52*2^2*PAGE_SIZE

  cat /proc/buddyinfo 
  Node 0, zone      DMA     23     15      4      5      2      3      3      2      3      1      0 
  Node 0, zone   Normal    149    100     52     33     23      5     32      8     12      2     59 
  Node 0, zone  HighMem     11     21     23     49     29     15      8     16     12      2    142 

  
  

• 虚拟地址 线性地址 逻辑地址 

  
  

  
  

  前面说了Linux中逻辑地址等于线性地址，那么线性地址怎么对应到物理地址呢？这个大家都知道，那就是通过分页机制，具体的说，就是通过页表查找来对应物理地址。

  准确的说分页是CPU提供的一种机制，Linux只是根据这种机制的规则，利用它实现了内存管理。

  在保护模式下，控制寄存器CR0的最高位PG位控制着分页管理机制是否生效，如果PG=1，分页机制生效，需通过页表查找才能把线性地址转换物理地址。如果PG=0，则分页机制无效，线性地址就直接做为物理地址。

  分页的基本原理是把内存划分成大小固定的若干单元，每个单元称为一页（page），每页包含4k字节的地址空间（为简化分析，我们不考虑扩展分页的情况）。这样每一页的起始地址都是4k字节对齐的。为了能转换成物理地址，我们需要给CPU提供当前任务的线性地址转物理地址的查找表，即页表(page table)。注意，为了实现每个任务的平坦的虚拟内存，每个任务都有自己的页目录表和页表。

  为了节约页表占用的内存空间，x86将线性地址通过页目录表和页表两级查找转换成物理地址。

  32位的线性地址被分成3个部分：

  最高10位 Directory 页目录表偏移量，中间10位 Table是页表偏移量，最低12位Offset是物理页内的字节偏移量。

  页目录表的大小为4k（刚好是一个页的大小），包含1024项，每个项4字节（32位），项目里存储的内容就是页表的物理地址。如果页目录表中的页表尚未分配，则物理地址填0。

  页表的大小也是4k，同样包含1024项，每个项4字节，内容为最终物理页的物理内存起始地址 

  
  

  每个活动的任务，必须要先分配给它一个页目录表，并把页目录表的物理地址存入cr3寄存器。页表可以提前分配好，也可以在用到的时候再分配。

  还是以 mov    0x80495b0, %eax 中的地址为例分析一下线性地址转物理地址的过程。

  前面说到Linux中逻辑地址等于线性地址，那么我们要转换的线性地址就是0x80495b0。转换的过程是由CPU自动完成的，Linux所要做的就是准备好转换所需的页目录表和页表（假设已经准备好，给页目录表和页表分配物理内存的过程很复杂，后面再分析）。

  内核先将当前任务的页目录表的物理地址填入cr3寄存器。

  线性地址 0x80495b0 转换成二进制后是 0000 1000 0000 0100 1001 0101 1011 0000，最高10位0000 1000 00的十进制是32，CPU查看页目录表第32项，里面存放的是页表的物理地址。线性地址中间10位00 0100 1001 的十进制是73，页表的第73项存储的是最终物理页的物理起始地址。物理页基地址加上线性地址中最低12位的偏移量，CPU就找到了线性地址最终对应的物理内存单元。

  我们知道Linux中用户进程线性地址能寻址的范围是0 － 3G，那么是不是需要提前先把这3G虚拟内存的页表都建立好呢？一般情况下，物理内存是远远小于3G的，加上同时有很多进程都在运行，根本无法给每个进程提前建立3G的线性地址页表。Linux利用CPU的一个机制解决了这个问题。进程创建后我们可以给页目录表的表项值都填0，CPU在查找页表时，如果表项的内容为0,则会引发一个缺页异常，进程暂停执行，Linux内核这时候可以通过一系列复杂的算法给分配一个物理页，并把物理页的地址填入表项中，进程再恢复执行。当然进程在这个过程中是被蒙蔽的，它自己的感觉还是正常访问到了物理内存。

  
  

  

  
  

  
  

  基于分页的操作系统在分配内存时分给进程所需要的页数，其对应物理内存的帧号同时装入该MMU的页表。同时页表上有一个标记为，指明该页是属于哪个进程的。甚至可以定义该页对于某个进程的读写权限。非法的读写操作会产生硬件陷阱（或内存保护冲突）。

  3.4 分页的代价
  由上一节可知分页是基于查找表的，而在内存中存储这个1M个项目的页表本身就带来了内存消耗和查找速度问题。于是，页表通常需要硬件的支持，即将页表写在硬件MMU的寄存器中。

  如果页表比较小，那么页表写在寄存器中可以加快查找速度。但绝大多数当代的计算机页表都非常大。对于这些页表，采用快速寄存器来实现页表就不太合理了。

  一种办法是使用TLB（translation look-aside buffer）。TLB是关联的寄存器，TLB条目由两部分组成：页号和帧号。

  
  TLB 只包含页表中的一小部分条目，整个页表还是保存在内存中。当CPU产生逻辑地址后，其页号提交给TLB。如果找到了页号，那同时也就找到了帧号，就可以访 问物理内存；如果页号不在TLB中（称为TLB失效），那就需要访问页表。在页表中找到帧号后，把页号和帧号增加到TLB中，这样下次再用时可以很快找 到。如果TLB中条目已满，则操作系统会根据一个替换策略来替换条目。替换策略有很多，从最近最小使用替换到随机替换等。另外，有的TLB允许某些条目不 被替换，如内核代码的条目。

  有的TLB还在条目中保存地址空间保护标志符，用来唯一标志进程，以提供进程内存保护。

• 虚拟内存

  虚拟存储器(virtual memory).虚拟存储器的基本思想是程序，数据，堆栈的总的大小可以超过物理存储器的大小，操作系统把当前使用的部分保留在内存中，而把其他未被使用的部分保存在磁盘上比如对一个16MB的程序和一个内存只有4MB的机器，OS通过选择，可以决定各个时刻将哪4M的内容保留在内存中，并在需要时在内存和磁盘间交换程序片段，这样就可以把这个16M的程序运行在一个只具有4M内存机器上了。而这个16M的程序在运行前不必由程序员进行分割。
  

  
  

• 内存碎片

  内存碎片通常分为内部碎片和外部碎片：
  
    1. 内部碎片是由于采用固定大小的内存分区，当一个进程不能完全使用分给它的固定内存区域时就产生了内部碎片，通常内部碎片难以完全避免；
  
    2. 外部碎片是由于某些未分配的连续内存区域太小，以至于不能满足任意进程的内存分配请求，从而不能被进程利用的内存区域。
  
    现在普遍采用的段页式内存分配方式就是将进程的内存区域分为不同的段，然后将每一段由多个固定大小的页组成。通过页表机制，使段内的页可以不必连续处于同一内存区域，从而减少了外部碎片，然而同一页内仍然可能存在少量的内部碎片，只是一页的内存空间本就较小，从而使可能存在的内部碎片也较少

• 
  

• 内存分段与分页管理

http://www.cnblogs.com/thrillerz/p/6031561.html

这一篇把分页和分段的基本原理介绍的极其透彻。但是分页具体实现的方法，例如页目录，页表还要再细看。

对于x86系统，页目录的物理地址放在CPU的CR3寄存器中。

    CPU把虚拟地址转换成物理地址：
    一个虚拟地址，大小4个字节(32bit)，包含着找到物理地址的信息，分为3个部分：第22位到第31位这10位（最高10位）是页目录中的索引，第12位到第21位这10位是页表中的索引，第0位到第11位这12位（低12位）是页内偏移。对于一个要转换成物理地址的虚拟地址，CPU首先根据CR3中的值，找到页目录所在的物理页。然后根据虚拟地址的第22位到第31位这10位（最高的10bit)的值作为索引，找到相应的页目录项(PDE,page directory entry),页目录项中有这个虚拟地址所对应页表的物理地址。有了页表的物理地址，根据虚拟地址的第12位到第21位这10位的值作为索引，找到该页表中相应的页表项(PTE,page table entry),页表项中就有这个虚拟地址所对应物理页的物理地址。最后用虚拟地址的最低12位，也就是页内偏移，加上这个物理页的物理地址，就得到了该虚拟地址所对应的物理地址。

    一个页目录有1024项，虚拟地址最高的10bit刚好可以索引1024项（2的10次方等于1024）。一个页表也有1024项，虚拟地址中间部分的10bit，刚好索引1024项。虚拟地址最低的12bit（2的12次方等于4096），作为页内偏移，刚好可以索引4KB，也就是一个物理页中的每个字节。

    一个虚拟地址转换成物理地址的计算过程就是，处理器通过CR3找到当前页目录所在物理页，取虚拟地址的高10bit,然后把这10bit右移2bit（因为每个页目录项4个字节长，右移2bit相当于乘4）得到在该页中的地址，取出该地址处PDE（4个字节），就找到了该虚拟地址对应页表所在物理页，取虚拟地址第12位到第21位这10位，然后把这10bit右移2bit（因为每个页表项4个字节长，右移2bit相当于乘4）得到在该页中的地址，取出该地址处的PTE（4个字节），就找到了该虚拟地址对应物理页的地址，最后加上12bit的页内偏移得到了物理地址。

• 虚拟内存
  
  

http://www.cnblogs.com/lyp3314/archive/2012/03/06/2380637.html]

    本文转自UVN2015  51CTO博客，原文链接：http://blog.51cto.com/10851095/1947871，如需转载请自行联系原作者