Linux 内存管理 重要结构体 (转)

虚拟内存地址与实际内存地址之间的关系，是如此转换的，逻辑地址-->线性地址-->物理地址。也是从分段单元到分页单元的转换。在 linux中，用户程序所使用的地址与硬件使用的物理地址是不等同的。虚拟内存引入一个间接层，它使得许多操作成为可能。在引入虚拟内存这个概念和方法后，在系统中运行的程序可以分配比物理内存更多的内存。而linux的地址有分下面几个类型：

用户虚拟地址：用户空间所能看到的常规地址
物理地址：在处理器和系统内存之间使用
总线地址：在外围总线和内存之间使用
内核逻辑地址：组成内核的常规地址空间，该地址映射了部分或者全部内存，并经常被视为物理地址。
内核虚拟地址：其与物理地址的映射不必是线性的和一对一的，所有的逻辑地址都是内核虚拟地址，但是有些内核地址不是逻辑地址。

Linux 2.6支持非一致性内存访问（Non-Uniform Memory Access，NUMA）模型，在这种模型中，给定CPU对不同内存单元的访问时间不一样。系统的物理内存被划分为几个节点（node）。在一个单独的节点中，任一给定CPU访问页面所需的时间都是相同的，然而对于不同的CPU，这个时间就不同。对于每个CPU而言，内核都试图把耗时节点的访问次数减少到最少，这就要小心的选择CPU最常引用的内核数据结构的存放位置。

UMA,一致内存访问体系结构，此结构通常用pg_data_t来引用，系统中每个节点链接到一个以NULL结尾的 pgdat_list链表中，而其中的每个节点利用pg_data_tnode_next字段链接到下一个节点。

对大型机来说，内存会分成很多簇，每个簇都被认为是一个节点。struct pg_data_t体现此概念，系统中的每个节点链接到一个以NULL结尾的pgdat_list脸表中，而其中的每个节点利用 pg_data_tnode_next连接到下一个节点。内存中，每个节点被分成很多的成为管理区的块，而用于表示内存中的某个范围，一个管理区由 sruct zone_struct描述，并被定义为zone_t,且每个管理区的类型都是ZONE_DMA（低端范围的物理内存，内存首部--16MB）,ZONE_NORMAL(由内核直接映射到线性地址空间的较高部分，16MB--896MB)或者ZONE_HIGHMEM（系统中预留的可用内存空间，不被内核直接映射，896MB--末尾）中的一种。而三者中，ZONE_NORMAL是影响系统性能最重要的管理区。linux2.6.32中引入了ZONE_MOVABLE类型，用于适应大块连续内存的分配。
系统的内存划分成大小确定的许多块，这些块用struct page结构体来描述，所有的结构都存储在一个全局mem_map数组中，通常存放在ZONE_NORMAL的首部，或者就在小内存系统中装入内核映像而预留的区域之后。就因为ZONE_NORMAL大小有限，所以linux才会提出高端内存这个概念。
linux中，运用page结构体来保存内核需要知道的所有物理内存信息，对系统中每个物理页，都有一个page结构体相对应。

内存中的每个节点都由pg_data_t描述，而此则由struct pglist_data定义而来，在分配一个页面时，linux 采用节点局部分配的策略，从最靠近运行中的cpu的节点分配内存，由于进程往往是在同一个cpu上运行，因此从当前节点得到的内存很有可能被用到，每个管理区由一个struct zone描述，此结构体用于跟踪页面使用情况统计数，空闲区域信息和锁信息等，在文件中声明.

以下这三个结构体互相结合，彼此指向形成了一个关于内存分配的树型结构。

1. /* 
2.  * The pg_data_t structure is used in machines with CONFIG_DISCONTIGMEM 
3.  * (mostly NUMA machines?) to denote a higher-level memory zone than the 
4.  * zone denotes. 
5.  * 
6.  * On NUMA machines, each NUMA node would have a pg_data_t to describe 
7.  * it's memory layout. 
8.  * 
9.  * Memory statistics and page replacement data structures are maintained on a 
10.  * per-zone basis. 
11.  */  
12. struct bootmem_data;  
13. typedef struct pglist_data {  
14.      /*该节点内的内存区。可能的区域类型用zone_type表示。 */  
15.     struct zone node_zones[MAX_NR_ZONES];  
16.      /* 该节点的备用内存区。当节点没有可用内存时，就从备用区中分配内存。*/  
17.     struct zonelist node_zonelists[MAX_ZONELISTS];  
18.       /*可用内存区数目，即node_zones数据中保存的最后一个有效区域的索引*/  
19.     int nr_zones;  
20. #ifdef CONFIG_FLAT_NODE_MEM_MAP /* means !SPARSEMEM */   
21.      /* 在平坦型的内存模型中，它指向本节点第一个页面的描述符。 */  
22.     struct page *node_mem_map;  
23. #ifdef CONFIG_CGROUP_MEM_RES_CTLR   
24.     /*cgroup相关*/  
25.     struct page_cgroup *node_page_cgroup;  
26. #endif   
27. #endif   
28.   /** 
29.           * 在内存子系统初始化以前，即boot阶段也需要进行内存管理。 
30.           * 此结构用于这个阶段的内存管理。 
31.           */  
32.     struct bootmem_data *bdata;  
33. #ifdef CONFIG_MEMORY_HOTPLUG   
34.     /* 
35.      * Must be held any time you expect node_start_pfn, node_present_pages 
36.      * or node_spanned_pages stay constant.  Holding this will also 
37.      * guarantee that any pfn_valid() stays that way. 
38.      * 
39.      * Nests above zone->lock and zone->size_seqlock. 
40.      */  
41.         /*当系统支持内存热插拨时，用于保护本结构中的与节点大小相关的字段。 
42.             哪调用node_start_pfn，node_present_pages，node_spanned_pages相关的代码时，需要使用该锁。 
43.           */  
44.     spinlock_t node_size_lock;  
45. #endif   
46.     /*起始页面帧号，指出该节点在全局mem_map中 
47.     的偏移*/  
48.     unsigned long node_start_pfn;  
49.     unsigned long node_present_pages; /* total number of physical pages */  
50.     unsigned long node_spanned_pages; /* total size of physical page range, including holes */  
51.     /*节点编号*/                          
52.     int node_id;  
53.     /*等待该节点内的交换守护进程的等待队列。将节点中的页帧换出时会用到。*/  
54.     wait_queue_head_t kswapd_wait;  
55.     /*负责该节点的交换守护进程。*/  
56.     struct task_struct *kswapd;  
57.     /*由页交换子系统使用，定义要释放的区域大小。*/  
58.     int kswapd_max_order;  
59. } pg_data_t;  

所有的节点都有一个pgdat_list的链表维护，这些节点都放在该链表中。

管理区

每个管理区由一个zone结构体描述，对于管理区的类型描述如下

1. enum zone_type {  
2. #ifdef CONFIG_ZONE_DMA   

管理区用于跟踪诸如页面使用情况统计数，空闲区域信息和锁信息等。

1. struct zone {  
2.     /* Fields commonly accessed by the page allocator */  
3.   
4.     /* zone watermarks, access with *_wmark_pages(zone) macros */  
5.     /*本管理区的三个水线值:高水线(比较充足)、低水线、MIN水线。*/  
6.     unsigned long watermark[NR_WMARK];  
7.   
8.     /* 
9.      * We don't know if the memory that we're going to allocate will be freeable 
10.      * or/and it will be released eventually, so to avoid totally wasting several 
11.      * GB of ram we must reserve some of the lower zone memory (otherwise we risk 
12.      * to run OOM on the lower zones despite there's tons of freeable ram 
13.      * on the higher zones). This array is recalculated at runtime if the 
14.      * sysctl_lowmem_reserve_ratio sysctl changes. 
15.      */  
16.       /** 
17.           * 当高端内存、normal内存区域中无法分配到内存时，需要从normal、DMA区域中分配内存。 
18.           * 为了避免DMA区域被消耗光，需要额外保留一些内存供驱动使用。 
19.           * 该字段就是指从上级内存区退到回内存区时，需要额外保留的内存数量。 
20.           */  
21.     unsigned long       lowmem_reserve[MAX_NR_ZONES];  
22.   
23. #ifdef CONFIG_NUMA   
24.     /*所属的NUMA节点。*/  
25.     int node;  
26.     /* 
27.      * zone reclaim becomes active if more unmapped pages exist. 
28.      */  
29.      /*当可回收的页超过此值时，将进行页面回收。*/  
30.     unsigned long       min_unmapped_pages;  
31.     /*当管理区中，用于slab的可回收页大于此值时，将回收slab中的缓存页。*/  
32.     unsigned long       min_slab_pages;  
33.     /* 
34.           * 每CPU的页面缓存。 
35.           * 当分配单个页面时，首先从该缓存中分配页面。这样可以: 
36.           *避免使用全局的锁 
37.           * 避免同一个页面反复被不同的CPU分配，引起缓存行的失效。 
38.           * 避免将管理区中的大块分割成碎片。 
39.           */  
40.     struct per_cpu_pageset  *pageset[NR_CPUS];  
41. #else   
42.     struct per_cpu_pageset  pageset[NR_CPUS];  
43. #endif   
44.     /* 
45.      * free areas of different sizes 
46.      */  
47.      /*该锁用于保护伙伴系统数据结构。即保护free_area相关数据。*/  
48.     spinlock_t      lock;  
49. #ifdef CONFIG_MEMORY_HOTPLUG   
50.     /* see spanned/present_pages for more description */  
51.     /*用于保护spanned/present_pages等变量。这些变量几乎不会发生变化，除非发生了内存热插拨操作。 
52.            这几个变量并不被lock字段保护。并且主要用于读，因此使用读写锁。*/  
53.     seqlock_t       span_seqlock;  
54. #endif   
55.     /*伙伴系统的主要变量。这个数组定义了11个队列，每个队列中的元素都是大小为2^n的页面*/  
56.     struct free_area    free_area[MAX_ORDER];  
57.   
58. #ifndef CONFIG_SPARSEMEM   
59.     /* 
60.      * Flags for a pageblock_nr_pages block. See pageblock-flags.h. 
61.      * In SPARSEMEM, this map is stored in struct mem_section 
62.      */  
63.      /*本管理区里的页面标志数组*/  
64.     unsigned long       *pageblock_flags;  
65. #endif /* CONFIG_SPARSEMEM */   
66.   
67.     /*填充的未用字段，确保后面的字段是缓存行对齐的*/  
68.     ZONE_PADDING(_pad1_)  
69.   
70.     /* Fields commonly accessed by the page reclaim scanner */  
71.     /* 
72.           * lru相关的字段用于内存回收。这个字段用于保护这几个回收相关的字段。 
73.           * lru用于确定哪些字段是活跃的，哪些不是活跃的，并据此确定应当被写回到磁盘以释放内存。 
74.           */  
75.     spinlock_t      lru_lock;     
76.     /* 匿名活动页、匿名不活动页、文件活动页、文件不活动页链表头*/  
77.     struct zone_lru {  
78.         struct list_head list;  
79.     } lru[NR_LRU_LISTS];  
80.     /*页面回收状态*/  
81.     struct zone_reclaim_stat reclaim_stat;  
82.     /*自从最后一次回收页面以来，扫过的页面数*/  
83.     unsigned long       pages_scanned;     /* since last reclaim */  
84.     unsigned long       flags;         /* zone flags, see below */  
85.   
86.     /* Zone statistics */  
87.     atomic_long_t       vm_stat[NR_VM_ZONE_STAT_ITEMS];  
88.   
89.     /* 
90.      * prev_priority holds the scanning priority for this zone.  It is 
91.      * defined as the scanning priority at which we achieved our reclaim 
92.      * target at the previous try_to_free_pages() or balance_pgdat() 
93.      * invokation. 
94.      * 
95.      * We use prev_priority as a measure of how much stress page reclaim is 
96.      * under - it drives the swappiness decision: whether to unmap mapped 
97.      * pages. 
98.      * 
99.      * Access to both this field is quite racy even on uniprocessor.  But 
100.      * it is expected to average out OK. 
101.      */  
102.     int prev_priority;  
103.   
104.     /* 
105.      * The target ratio of ACTIVE_ANON to INACTIVE_ANON pages on 
106.      * this zone's LRU.  Maintained by the pageout code. 
107.      */  
108.     unsigned int inactive_ratio;  
109.   
110.     /*为cache对齐*/  
111.     ZONE_PADDING(_pad2_)  
112.     /* Rarely used or read-mostly fields */  
113.   
114.     /* 
115.      * wait_table       -- the array holding the hash table 
116.      * wait_table_hash_nr_entries   -- the size of the hash table array 
117.      * wait_table_bits  -- wait_table_size == (1  
118.      * 
119.      * The purpose of all these is to keep track of the people 
120.      * waiting for a page to become available and make them 
121.      * runnable again when possible. The trouble is that this 
122.      * consumes a lot of space, especially when so few things 
123.      * wait on pages at a given time. So instead of using 
124.      * per-page waitqueues, we use a waitqueue hash table. 
125.      * 
126.      * The bucket discipline is to sleep on the same queue when 
127.      * colliding and wake all in that wait queue when removing. 
128.      * When something wakes, it must check to be sure its page is 
129.      * truly available, a la thundering herd. The cost of a 
130.      * collision is great, but given the expected load of the 
131.      * table, they should be so rare as to be outweighed by the 
132.      * benefits from the saved space. 
133.      * 
134.      * __wait_on_page_locked() and unlock_page() in mm/filemap.c, are the 
135.      * primary users of these fields, and in mm/page_alloc.c 
136.      * free_area_init_core() performs the initialization of them. 
137.      */  
138.     wait_queue_head_t   * wait_table;  
139.     unsigned long       wait_table_hash_nr_entries;  
140.     unsigned long       wait_table_bits;  
141.   
142.     /* 
143.      * Discontig memory support fields. 
144.      */  
145.      /*管理区属于的节点*/  
146.     struct pglist_data  *zone_pgdat;  
147.     /* zone_start_pfn == zone_start_paddr >> PAGE_SHIFT */  
148.     /*管理区的页面在mem_map中的偏移*/  
149.     unsigned long       zone_start_pfn;  
150.   
151.     /* 
152.      * zone_start_pfn, spanned_pages and present_pages are all 
153.      * protected by span_seqlock.  It is a seqlock because it has 
154.      * to be read outside of zone->lock, and it is done in the main 
155.      * allocator path.  But, it is written quite infrequently. 
156.      * 
157.      * The lock is declared along with zone->lock because it is 
158.      * frequently read in proximity to zone->lock.  It's good to 
159.      * give them a chance of being in the same cacheline. 
160.      */  
161.     unsigned long       spanned_pages;  /* total size, including holes */  
162.     unsigned long       present_pages;  /* amount of memory (excluding holes) */  
163.   
164.     /* 
165.      * rarely used fields: 
166.      */  
167.     const char      *name;  
168. } ____cacheline_internodealigned_in_smp;  

页面

系统中每个物理页面都有一个相关联的page用于记录该页面的状态。

1. /* 
2.  * Each physical page in the system has a struct page associated with 
3.  * it to keep track of whatever it is we are using the page for at the 
4.  * moment. Note that we have no way to track which tasks are using 
5.  * a page, though if it is a pagecache page, rmap structures can tell us 
6.  * who is mapping it. 
7.  */  
8. struct page {  
9.     unsigned long flags;        /* Atomic flags, some possibly 
10.                      * updated asynchronously */  
11.     atomic_t _count;        /* Usage count, see below. */  
12.     union {  
13.         atomic_t _mapcount; /* Count of ptes mapped in mms, 
14.                      * to show when page is mapped 
15.                      * & limit reverse map searches. 
16.                      */  
17.         struct {        /* SLUB */  
18.             u16 inuse;  
19.             u16 objects;  
20.         };  
21.     };  
22.     union {  
23.         struct {  
24.         unsigned long private;      /* Mapping-private opaque data: 
25.                          * usually used for buffer_heads 
26.                          * if PagePrivate set; used for 
27.                          * swp_entry_t if PageSwapCache; 
28.                          * indicates order in the buddy 
29.                          * system if PG_buddy is set. 
30.                          */  
31.         struct address_space *mapping;  /* If low bit clear, points to 
32.                          * inode address_space, or NULL. 
33.                          * If page mapped as anonymous 
34.                          * memory, low bit is set, and 
35.                          * it points to anon_vma object: 
36.                          * see PAGE_MAPPING_ANON below. 
37.                          */  
38.         };  
39. #if USE_SPLIT_PTLOCKS   
40.         spinlock_t ptl;  
41. #endif   
42.         struct kmem_cache *slab;    /* SLUB: Pointer to slab */  
43.     /* 如果属于伙伴系统，并且不是伙伴系统中的第一个页 
44.     则指向第一个页*/  
45.         struct page *first_page;    /* Compound tail pages */  
46.     };  
47.     union {/*如果是文件映射，那么表示本页面在文件中的位置(偏移)*/  
48.         pgoff_t index;      /* Our offset within mapping. */  
49.         void *freelist;     /* SLUB: freelist req. slab lock */  
50.     };  
51.     struct list_head lru;       /* Pageout list, eg. active_list 
52.                      * protected by zone->lru_lock ! 
53.                      */  
54.     /* 
55.      * On machines where all RAM is mapped into kernel address space, 
56.      * we can simply calculate the virtual address. On machines with 
57.      * highmem some memory is mapped into kernel virtual memory 
58.      * dynamically, so we need a place to store that address. 
59.      * Note that this field could be 16 bits on x86 ... ;) 
60.      * 
61.      * Architectures with slow multiplication can define 
62.      * WANT_PAGE_VIRTUAL in asm/page.h 
63.      */  
64. #if defined(WANT_PAGE_VIRTUAL)   
65.     void *virtual;          /* Kernel virtual address (NULL if 
66.                        not kmapped, ie. highmem) */  
67. #endif /* WANT_PAGE_VIRTUAL */   
68. #ifdef CONFIG_WANT_PAGE_DEBUG_FLAGS   
69.     unsigned long debug_flags;  /* Use atomic bitops on this */  
70. #endif   
71.   
72. #ifdef CONFIG_KMEMCHECK   
73.     /* 
74.      * kmemcheck wants to track the status of each byte in a page; this 
75.      * is a pointer to such a status block. NULL if not tracked. 
76.      */  
77.     void *shadow;  
78. #endif   
79. };