Linux内存管理宏观篇(四)物理内存:物理内存管理区

简介: Linux内存管理宏观篇(四)物理内存:物理内存管理区

前言

前面我们了解了物理页面,知道物理页面的管理结构struct page的内容。

这里来看看物理内存的分区。

我们知道32位对于4GB,然后这个4GB分成了1GB的内核和3GB的用户。

1G的内核地址空间可访问全部的物理内存地址,3G的用户地址空间访问最大3G的物理内存地址。

因此在内核部分线性映射,肯定是无法实现的。怎么解决呢?

1、内核内存管理区

1GB的内核内存是分为两个部分,一部分是线性映射区域,一部分是高端内存(这里就是上一篇的疑惑点,这就解开了)。

一般0-768MB是线性的,剩下的可以映射到用户的内存区域,以及映射一些device。

线性的区域:ZONE_NORMAL
高端内存区域:ZONE_HGHMEM

这是因为32位只能最大映射到4GB,但是现在都是64位,这完全是够够的,那么64位的时候就不需要这个区域。

同时还有个区域。

DMA操作:ZONE_DMA

这个区域是因为ISA设备就不能在整个32位的地址空间中执行DMA操作,因为ISA设备只能访问物理内存的前16MB,所以在x86体系结构中会有一项ZONE_DMA的管理区域。

但是ARM中没有。

因此对于ARM32你需要了解两个区:

线性的区域:ZONE_NORMAL
高端内存区域:ZONE_HGHMEM

对于ARM64那么很明显就只需要一个区

线性的区域:ZONE_NORMAL

用户内存一年一一对应,因此无需多说,MMU也是如此。内核地址要通过MMU吗?这个问题留着,期待你的答案。我真不知道。

2、内存管理区描述符

对于这个内存管理区,内核也有个数据结构来管理 struct zone。

(这也是C语言面向对象的一种思想)

定义在include/linux/mmzone.h文件中。struct zone数据结构的主要成员如下。

[include/linux/mmzone.h]
struct zone {
  /* 读敏感域 */
  unsigned long watermark[NR_WMARK];
  long lowmem_reserve[MAX_NR_ZONES];
  struct pglist_data  *zone_pgdat;
  struct per_cpu_pageset __percpu *pageset;
  unsigned long     zone_start_pfn;
  unsigned long     managed_pages;
  unsigned long     spanned_pages;
  unsigned long     present_pages;
  const char     *name;
  /* 写敏感域 */
  ZONE_PADDING(_pad1_)struct free_area   free_area[MAX_ORDER];
  unsigned long     flags;
  spinlock_t     lock;
  ZONE_PADDING(_pad2_)spinlock_t     lru_lock;
  struct lruvec     lruvec;
  /* 内存管理区的统计信息 */
  ZONE_PADDING(_pad3_)atomic_long_t     vm_stat[NR_VM_ZONE_STAT_ITEMS];
  } ____cacheline_internodealigned_in_smp;

首先,struct zone是经常会被访问到的,因此这个数据结构要求以L1 Cache对齐,见____cacheline_internodealigned_in_smp属性。

struct zone总体来说可以分成以下3个部分。读敏感区域。写敏感区域。统计计数。

这里的ZONE_PADDING()是让zone->lock和zone->lru_lock这两个很热门的锁分布在不同的缓存行(cache line)中。

这里采用ZONE_PADDING()让其后面的变量与L1缓存行对齐,以提高该字段的并发访问性能,避免发生缓存伪共享(Cache False Sharing)。

另外,一个内存节点最多也就几个内存管理区,因此内存管理区数据结构不需要像struct page一样对数据结构的大小特别敏感,这里可以为了性能而浪费空间。

在内存管理开发过程中,内核开发者逐步发现有一些自旋锁竞争得非常厉害,很难获取。像 zone->lock 和zone->lru_lock 这两个锁有时需要同时获取,会导致比较严重的高速缓存伪共享问题,保证它们使用不同的缓存行是内核常用的一种优化技巧。

watermark:每个内存管理区在系统启动时会计算出 3 个水位值,分别是WMARK_MIN、WMARK_LOW 和 WMARK_HIGH 水位,这在页面分配器和kswapd页面回收中会用到。

lowmem_reserve:内存管理区中预留的内存。

zone_pgdat:指向内存节点。

pageset:用于维护Per-CPU上的一系列页面,以减少自旋锁的争用。

zone_start_pfn:内存管理区中开始页面的页帧号。

managed_pages:内存管理区中被伙伴系统管理的页面数量。

spanned_pages:内存管理区包含的页面数量。

present_pages:内存管理区里实际管理的页面数量。对一些体系结构来说,其值和spanned_pages相等。

free_area:管理空闲区域的数组,包含管理链表等。

lock:并行访问时用于对内存管理区保护的自旋锁。注意该锁是保护

struct zone数据结构本身,而不是内存管理区所描述的内存地址空间。

lru_lock:用于对内存管理区中LRU链表并发访问时进行保护的自旋锁。

lruvec:LRU链表集合。

vm_stat:内存管理区计数。

对于这个部分,参数要等你使用的时候再加深映像。关于ZONE_PADDING()和缓存行那些,我也暂时讲不清楚,等我改天学习一下,写个内存管理番外篇。

3、辅助操作函数

Linux 内核提供了几个常用的内存管理区的辅助操作函数,它们定义在include/linux/mmzone.h文件中。

#define for_each_zone(zone)          \
for (zone = (first_online_pgdat())->node_zones; \
zone;          \
zone = next_zone(zone))
static inline int is_highmem(struct zone *zone);
#define zone_idx(zone)    ((zone) - (zone)->zone_pgdat->node_zones)

其中,for_each_zone()用来遍历系统中所有的内存管理区;

(这点代码有点奇怪)

is_highmem()函数用来检测内存管理区是否属于ZONE_HIGHMEM;

zone_idx()宏用来返回当前zone所在的内存节点的编号。

说明这个zone挺多的,内存中就是以这个位更粗的粒度去管理。

4、小结

上一章知道了物理页面,这一章紧接着学习了内存管理区,其实内存管理区是更大的概念。后面对于这个zone,也整个番外篇,好好聊聊内存管理中的zone到底是什么?

这里简单说一下,页相对于是要具体点,zone就是根据内存是不同功能或者权限什么的,把内存分成了不同的zone,然后进行统一管理。是体现在对内存的管控,页是对内存的分配。当然zone也是分配,是根据功能等进行分配的。

5、待解问题

内核地址映射需要MMU吗?

下一章就来聊聊对于物理页面的释放和分配,少爷先休息会。

参考资料:

《奔跑吧 Linux内核》

目录
相关文章
|
缓存 Linux
linux 手动释放内存
在 Linux 系统中,内存管理通常自动处理,但业务繁忙时缓存占用过多可能导致内存不足,影响性能。此时可在业务闲时手动释放内存。
977 17
|
11月前
|
缓存 监控 Linux
Linux内存问题排查命令详解
Linux服务器卡顿?可能是内存问题。掌握free、vmstat、sar三大命令,快速排查内存使用情况。free查看实时内存,vmstat诊断系统整体性能瓶颈,sar实现长期监控,三者结合,高效定位并解决内存问题。
996 0
Linux内存问题排查命令详解
|
缓存 Linux 数据安全/隐私保护
Linux环境下如何通过手动调用drop_caches命令释放内存
总的来说,记录住“drop_caches” 命令并理解其含义,可以让你在日常使用Linux的过程中更加娴熟和自如。
2045 23
|
监控 Linux 开发者
理解Linux操作系统内核中物理设备驱动(phy driver)的功能。
综合来看,物理设备驱动在Linux系统中的作用是至关重要的,它通过与硬件设备的紧密配合,为上层应用提供稳定可靠的通信基础设施。开发一款优秀的物理设备驱动需要开发者具备深厚的硬件知识、熟练的编程技能以及对Linux内核架构的深入理解,以确保驱动程序能在不同的硬件平台和网络条件下都能提供最优的性能。
642 0
|
消息中间件 Linux
Linux中的System V通信标准--共享内存、消息队列以及信号量
希望本文能帮助您更好地理解和应用System V IPC机制,构建高效的Linux应用程序。
658 48
|
监控 Linux Python
Linux系统资源管理:多角度查看内存使用情况。
要知道,透过内存管理的窗口,我们可以洞察到Linux系统运行的真实身姿,如同解剖学家透过微观镜,洞察生命的奥秘。记住,不要惧怕那些高深的命令和参数,他们只是你掌握系统"魔法棒"的钥匙,熟练掌握后,你就可以骄傲地说:Linux,我来了!
536 27
|
算法 Linux
深入探索Linux内核的内存管理机制
本文旨在为读者提供对Linux操作系统内核中内存管理机制的深入理解。通过探讨Linux内核如何高效地分配、回收和优化内存资源,我们揭示了这一复杂系统背后的原理及其对系统性能的影响。不同于常规的摘要,本文将直接进入主题,不包含背景信息或研究目的等标准部分,而是专注于技术细节和实际操作。
554 35
|
缓存 NoSQL Linux
Linux系统内存使用优化技巧
交换空间(Swap)的优化 禁用 Swap sudo swapoff -a 作用:这个命令会禁用系统中所有的 Swap 空间。swapoff 命令用于关闭 Swap 空间,-a 参数表示关闭 /etc/fstab 文件中配置的所有 Swap 空间。 使用场景:在高性能应用场景下,比如数据库服务器或高性能计算服务器,禁用 Swap 可以减少磁盘 I/O,提高系统性能。
645 3
|
存储 监控 算法
Java内存管理深度剖析:从垃圾收集到内存泄漏的全面指南####
本文深入探讨了Java虚拟机(JVM)中的内存管理机制,特别是垃圾收集(GC)的工作原理及其调优策略。不同于传统的摘要概述,本文将通过实际案例分析,揭示内存泄漏的根源与预防措施,为开发者提供实战中的优化建议,旨在帮助读者构建高效、稳定的Java应用。 ####
345 35
|
缓存 Linux
Linux查看内存命令
1. free free命令是最常用的查看内存使用情况的命令。它显示系统的总内存、已使用内存、空闲内存和交换内存的总量。 free -h • -h 选项:以易读的格式(如GB、MB)显示内存大小。 输出示例: total used free shared buff/cache available Mem: 15Gi 4.7Gi 4.1Gi 288Mi 6.6Gi 9.9Gi Swap: 2.0Gi 0B 2.0Gi • to
3744 2