内存原理 | 内存分配 | 内存对齐

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 内存原理 | 内存分配 | 内存对齐

虚拟地址空间

  • 内核空间:进程管理、设备管理、虚拟文件管理
  • 用户空间
  • 栈空间 stack:存储局部变量,函数参数
  • 内存映射段 mmap:静态库与动态库,文件映射,匿名映射
  • 堆空间 heap:malloc / calloc / new
  • 读写段:全局变量、静态变量
  • 只读段:文字常量区(字符串常量)和程序代码区(二进制代码)


* 堆和栈的区别


管理方式 程序员手动控制,memory leak 编译器管理
空间大小 内存区域不连续(空闲链表),受限于虚拟地址空间,例如:32 位系统 4 G 内存区域连续,空间大小固定。操作系统预设,一般是 2 M。
内存管理 系统遍历内存空闲链表,寻找第一个大于所需空间的空闲结点,将其分配给程序。 栈的剩余空间大于申请空间,系统为程序提供内存,否则异常栈溢出。
碎片问题 频繁的内存申请释放,造成内存空间不连续,产生大量的碎片 栈后进先出,没有内存碎片
生长方向 堆向上生长,向高地址方向增长 栈向下生长,向低地址空间增长
分配方式 动态分配 系统提供静态和动态的方式
分配效率 效率低,间接寻址,第一次访问指针,第二次访问指针指向的内存 效率高,计算机底层提供支持(寄存器、指令等)


内存分配

动态内存分配系统调用

int brk(void *addr);            // 返回对的顶部地址
 void *sbrk(intptr_t increment);  // 扩展堆,increment 指定要增加的大小

先通过 sbrk 扩展堆,将这部分空闲内存空间作为缓冲池,然后通过 malloc/ free 管理缓冲池中的内存。

* malloc 原理

malloc 使用空闲链表组织堆中的空闲区块,每个内存区块由内存控制块 mem_control_block + 可用内存空间组成。malloc 返回的是内存控制块后的地址,即可用内存空间的起始地址。

struct mem_control_block {
   int is_available; // 是否可用(如果还没被分配出去,就是 1)
   int size;         // 实际空间的大小
 };

malloc 分配时遍历空闲链表,以首次适应算法为例,寻找第一个大于所需空间的空闲区块,然后将其分配给程序,返回这可用空间的指针。如果没有这样的内存块,则向操作系统申请扩展堆内存。若空闲区块空间有剩余,系统自动将多余的部分重新放入空闲链表。

常见的内存匹配算法有

  • 首次适应法
  • 最佳适应法
  • 最差适应法
  • 下一个适应法

* free 原理

free 将内存区块重新插入到空闲链表,free 只接受一个指针,却可以释放恰当大小的内存,这是因为在内存控制块保存了该区域的大小。

被 free 回收的内存首先被 ptmalloc 使用双向链表保存起来,当用户下一次申请内存时,会尝试从这些内存中寻找合适的返回,避免了频繁的系统调用,占用过多的系统资源。同时 ptmalloc 也会尝试对小块内存进行合并,避免产生过多的内存碎片。

内存对齐

内存的自然对齐:按照结构体中最大数据成员对齐。

  • 结构体内成员按照声明顺序存储,第一个成员地址和整个结构体地址相同。
  • 结构体的首地址必须是最大数据成员大小的整数倍
  • 每个成员相对于结构体首地址的偏移量必须是该成员大小的整数倍,否则填充字节。
  • 整个结构体的大小必须是最大数据成员大小的整数倍,否则填充字节。

对齐系数:#pragma pack(n)

#pragma pack(n) // 按照 n (2 的 n 次幂)个字节对齐
 #pragma pack()  // 取消自定义字节对齐方式

* 内存对齐的规则

  • 数据成员对齐规则:第一个数据成员放在偏移 0 的地方,每个数据成员的对齐按照#pragma pack(n)和该数据成员自身长度,比较小的那个进行
  • 结构(或联合)的整体对齐规则:数据成员对齐后,结构(或联合)整体也要进行对齐,对齐按照#pragma pack(n)和结构(联合)最大数据成员长度中,比较小的那个进行
  • 结构体作为成员:内部结构体成员从最大元素的整数倍和#pragma pack(n)最小的一个的整数倍地址开始存储。

例如:

struct SS {
     int a;
     char b;
     short c;
     int d;
     struct FF {
         int a1;
         char b1;
         short c1;
         char d1;
     } MyStructFF;
     int e;
     double ww; 
 } MyStructSS;

其内存对齐方式如下:

测试代码:

#include <iostream>
 /* #pragma pack(4) */
 using std::cout;
 using std::endl;
 struct x {
     char a;
     int b;
     short c;
     char d;
 } MyStructX;//12
 struct y {
     int b;
     char a;
     char d;
     short c;
 } MyStructY; // 8
 struct SS {
     int a;
     char b;
     short c;
     int d;
     struct FF {
         int a1;
         char b1;
         short c1;
         char d1;
     } MyStructFF;
 #if 1
     /* char e; // 28 */
     int e;
     double ww; // 40
 #endif
 } MyStructSS;
 struct DD {
     int a;
     char b;
     short c;
     int d;
     struct FF {
         double a1;
         char b1;
         short c1;
         char d1;
     } MyStructFF;
     char e; // 40
 } MyStructDD;
 struct GG {
     char e[2];
     short h;
     struct A {
         int a;
         double b;
         float c;
     } MyStructA;
 } MyStructGG; // 32
 int main(int argc, char **argv) {
     cout <<"sizeof(MyStructX) = " << sizeof(MyStructX) << endl;
     cout <<"sizeof(MyStructY) = " << sizeof(MyStructY) << endl;
     cout <<"sizeof(MyStructSS) = " << sizeof(MyStructSS) << endl;
     cout <<"sizeof(MyStructDD) = " << sizeof(MyStructDD) << endl;
     cout <<"sizeof(MyStructGG) = " << sizeof(MyStructGG) << endl;
     return 0;
 }


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
1月前
|
C++
【C++】深入解析C/C++内存管理:new与delete的使用及原理(二)
【C++】深入解析C/C++内存管理:new与delete的使用及原理
|
1月前
|
编译器 C++ 开发者
【C++】深入解析C/C++内存管理:new与delete的使用及原理(三)
【C++】深入解析C/C++内存管理:new与delete的使用及原理
|
1月前
|
存储 C语言 C++
【C++】深入解析C/C++内存管理:new与delete的使用及原理(一)
【C++】深入解析C/C++内存管理:new与delete的使用及原理
|
3月前
|
监控 算法 Java
Java内存管理:垃圾收集器的工作原理与调优实践
在Java的世界里,内存管理是一块神秘的领域。它像是一位默默无闻的守护者,确保程序顺畅运行而不被无用对象所困扰。本文将带你一探究竟,了解垃圾收集器如何在后台无声地工作,以及如何通过调优来提升系统性能。让我们一起走进Java内存管理的迷宫,寻找提高应用性能的秘诀。
|
5月前
|
NoSQL Java Redis
Redis系列学习文章分享---第十八篇(Redis原理篇--网络模型,通讯协议,内存回收)
Redis系列学习文章分享---第十八篇(Redis原理篇--网络模型,通讯协议,内存回收)
81 0
|
2月前
|
监控 算法 Java
深入理解Java中的垃圾回收机制在Java编程中,垃圾回收(Garbage Collection, GC)是一个核心概念,它自动管理内存,帮助开发者避免内存泄漏和溢出问题。本文将探讨Java中的垃圾回收机制,包括其基本原理、不同类型的垃圾收集器以及如何调优垃圾回收性能。通过深入浅出的方式,让读者对Java的垃圾回收有一个全面的认识。
本文详细介绍了Java中的垃圾回收机制,从基本原理到不同类型垃圾收集器的工作原理,再到实际调优策略。通过通俗易懂的语言和条理清晰的解释,帮助读者更好地理解和应用Java的垃圾回收技术,从而编写出更高效、稳定的Java应用程序。
|
3月前
|
缓存 Java 编译器
Go 中的内存布局和分配原理
Go 中的内存布局和分配原理
|
4月前
|
存储 算法 Linux
操作系统中的内存管理:从原理到实践
本文深入探讨了操作系统中至关重要的内存管理机制,揭示了从理论到实现的复杂过程。通过分析内存分配、虚拟内存以及分页和交换等概念,本篇文章旨在为读者提供对现代操作系统内存管理技术的全面理解。结合最新的技术动态和研究成果,文章不仅阐述了内存管理的基本原理,还讨论了其在实际操作系统中的应用和优化策略。
77 1
|
4月前
|
算法 Linux 调度
操作系统中的虚拟内存管理:原理与实现
本文深入探讨了操作系统中虚拟内存管理的核心概念,包括分页、分段、需求分页和页面置换算法。通过分析现代操作系统如Linux和Windows的虚拟内存实现机制,文章揭示了虚拟内存在提升内存利用率、进程隔离和保护内存中的关键作用。同时,讨论了虚拟内存管理面临的挑战,如内存泄漏、碎片化以及性能开销,并提出了相应的优化策略。
|
4月前
|
设计模式 存储 安全
Java面试题:设计一个线程安全的单例类并解释其内存占用情况?使用Java多线程工具类实现一个高效的线程池,并解释其背后的原理。结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
Java面试题:设计一个线程安全的单例类并解释其内存占用情况?使用Java多线程工具类实现一个高效的线程池,并解释其背后的原理。结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
61 1