超越内存限制:深入探索内存池的工作原理与实现

简介: 这篇文章将深入探索内存池的工作原理与实现,介绍如何超越传统的内存限制。首先,我们将了解什么是内存池以及它与传统内存分配方式的不同之处。接着,我们将探索内存池的工作原理,包括内存池的数据结构和算法。我们还将解释内存池如何提升性能,避免内存碎片化,并减少内存分配的开销。此外,我们将介绍一些常见的内存池实现技术,例如固定大小内存池和动态大小内存池,并对比它们的优劣之处。

一、引言

为什么需要内存池?

在系统应用层面,程序开发使用的都是虚拟内存。物理内存是底层的,只有底层程序(比如驱动、固件等)可以接触到。

程序通常能管理的内存主要是堆和共享内存(mmap)。应用层所谓的内存管理,主要是对堆上的内存池进行管理。

程序使用内存时,需要申请内存,通过调用malloc() / callol();使用完之后需要释放内存,调用free()。程序运行时会不断的申请内存、释放内存,会发现内存到后面可能出现不可控制的状态,比如还有总可用内存,但是无法分配下来了,这就是内存碎片,内存有很多的小窗口存在。

因此,需要内存管理,从而有内存池存在。通过内存管理避免内存碎片以及避免频繁的申请、释放内存。

new和malloc/callol关系:new是关键字,内部调用的是malloc/callol,delete和free一样,是对内存释放。

二、内存管理方式

分配内存的时候,分配的大小以及何时分配何时释放都是不确定的。因此,针对不同的常见有不同的内存管理方式。

(1)不管需要的内存大小,每次分配固定大小的内存。这可以有效的避免内存碎片,但是内存利用率低。

(2)以2n2n 累积内存池。可以提升内存的利用率,但是回收是一个很大的工程,没办法做到两块相邻的内存合在一起。

(3)大、小块。内存池中分大小块,申请内存大小大于某个值定为大块、否则是小块,内部使用链表串联。

三、posix_memalign()与malloc()

malloc / alloc函数原型:

#include <stdlib.h>void*malloc(size_tsize);
voidfree(void*ptr);
void*calloc(size_tnmemb, size_tsize);
void*realloc(void*ptr, size_tsize);

描述:

malloc函数的作用是分配大小字节并返回分配内存的指针。分配的内存未初始化。size=0,则malloc返回NULL或唯一的指针值,稍后可以成功传递给free()。

free函数释放ptr指向的内存空间,该空间必须是先前调用malloc()、calloc()或realloc()返回的。否则,或者如果之前已经调用了free(ptr),则会发生未定义的行为。如果ptr为空,则不执行任何操作。

calloc函数为每个size字节的nmemb元素数组分配内存,并返回分配内存的指针。内存被初始化为零。如果nmemb或size为0,则calloc()返回NULL或唯一的指针值,稍后可以成功传递给free()。

realloc函数将ptr指向的内存块大小更改为size字节。从区域开始到新旧尺寸的最小值,内容将保持不变。如果新大小大于旧大小,则不会初始化添加的内存。如果ptr为空,则对于size的所有值,调用等同于malloc(size);如果size等于零,且ptr不为空,则调用等同于free(ptr)。除非ptr为空,否则它必须是通过先前调用malloc()、calloc()或realloc()返回的。如果指向的区域被移动,则执行free(ptr)。

返回值:

malloc()和calloc()函数返回一个指向已分配内存的指针,该指针适合任何内置类型。出现错误时,这些函数返回NULL。如果成功调用大小为零的malloc(),或者成功调用nmemb或大小等于零的calloc(),也可能返回NULL。

free()函数不返回任何值。

realloc()返回一个指向新分配内存的指针,该指针适合任何内置类型,可能与ptr不同,如果请求失败,则为NULL。如果size=0,则返回NULL或适合传递给free()的指针。如果realloc()失败,则原始块保持不变;它不会被释放或移动。

错误:

calloc()、malloc()和realloc()可能会失败,并出现以下错误:

ENOMEM,内存不足。应用程序可能会达到getrlimit()中描述的RLIMIT_AS或RLIMIT-DATA限制。

malloc / alloc分配内存是有限制的,可能不能分配超过4k的内存的,为了内分配大内存,需要使用posix_memalign函数。

posix_memalign函数原型:

#include <stdlib.h>intposix_memalign(void**memptr, size_talignment, size_tsize);
void*aligned_alloc(size_talignment, size_tsize);
void*valloc(size_tsize);
#include <malloc.h>void*memalign(size_talignment, size_tsize);
void*pvalloc(size_tsize);

描述:

函数posix_memalign分配size字节,并将分配内存的地址放在memptr中。分配内存的地址将是alignment的倍数,必须是2的幂和sizeof(void)的倍数。如果大小为0,则放置在*memptr中的值要么为空,要么是唯一的指针值,稍后可以成功传递给free()。

返回:

posix_memalign()在成功时返回零,或在失败时错误值。在调用posix_memalign()之后,errno的值是不确定的。

错误值:

  • EINVAL:对齐参数不是2的幂,或者不是sizeof(void*)的倍数。
  • ENOMEM:内存不足,无法完成分配请求。

四、对齐计算

要分配一个以指定大小对齐的内存,可以使用如下公式:

假设要分配大小为n,对齐方式为x,那么 size=(n+(x-1)) & (~(x-1))。

举个例子:

n=17,x=4。即申请大小为17,对齐为4。则计算出对齐后的大小应该为

(17+4-1)&(~(4-1))=20;

用二进制来计算,

(0001 0001 + 0011)&(1111 1100)=0001 0100

// 对齐#define mp_align(n, alignment) (((n)+(alignment-1)) & ~(alignment-1))#define mp_align_ptr(p, alignment) (void *)((((size_t)p)+(alignment-1)) & ~(alignment-1))

五、内存池的具体实现

5.1、内存池的定义

typedefstructmp_large_s {
structmp_large_s*next;
void*alloc;
}mp_large_t;
typedefstructmp_node_s {
unsignedchar*last; // last之前为已使用的内存unsignedchar*end; // last到end之间为可分配内存structmp_node_s*next;
size_tfailed;
}mp_node_t;
typedefstructmp_pool_s {
size_tmax;
mp_node_t*current;
mp_large_t*large;
mp_node_thead[0];
}mp_pool_t;

5.2、内存池的创建

mp_pool_t*mp_create_pool(size_tsize)
{
mp_pool_t*p;
// malloc无法分配超过4k的内存,size + sizeof(mp_pool_t) + sizeof(mp_node_s)保证有size大小可用intret=posix_memalign((void*)&p, MP_ALIGNMENT, size+sizeof(mp_pool_t) +sizeof(mp_node_t));
if (ret)
returnNULL;
p->max=size;
p->current=p->head;
p->large=NULL;
//(unsigned char*)(p + 1)// (unsigned char*)p + sizeof(mp_pool_t)p->head->last= (unsignedchar*)p+sizeof(mp_pool_t)+sizeof(mp_node_t);
p->head->end=p->head->last+size;
p->head->failed=0;
returnp;
}

5.3、内存池的销毁

voidmp_destory_pool(mp_pool_t*pool) 
{
mp_node_t*h, *n;
mp_large_t*l;
for (l=pool->large; l; l=l->next) {
if (l->alloc) {
free(l->alloc);
        }
    }
h=pool->head->next;
while (h) {
n=h->next;
free(h);
h=n;
    }
free(pool);
}

5.4、内存池的重置

voidmp_reset_pool(mp_pool_t*pool) 
{
mp_node_t*h;
mp_large_t*l;
for (l=pool->large; l; l=l->next) {
if (l->alloc) {
free(l->alloc);
        }
    }
pool->large=NULL;
for (h=pool->head; h; h=h->next) {
h->last= (unsignedchar*)h+sizeof(mp_node_t);
    }
}

5.5、内存池分配小块

void*mp_alloc_small(mp_pool_t*pool, size_tsize)
{
unsignedchar*m;
structmp_node_s*h=pool->head;
size_tpsize= (size_t)(h->end- (unsignedchar*)h);
intret=posix_memalign((void*)&m, MP_ALIGNMENT, psize);
if (ret)
returnNULL;
mp_node_t*p, *new_node, *current;
new_node= (mp_node_t*)m;
new_node->next=NULL;
new_node->end=m+psize;
new_node->failed=0;
m+=sizeof(mp_node_t);
m=mp_align_ptr(m, MP_ALIGNMENT);
new_node->last+=size;
current=pool->current;
for (p=current; p->next; p=p->next)
    {
// 如存在多次分配失败,current不再指向此nodeif (p->failed++>4)
        {
current=p->next;
        }
    }
p->next=new_node;
pool->current=current?current : new_node;
returnm;
}

5.6、内存池分配大块

staticvoid*mp_alloc_large(mp_pool_t*pool, size_tsize) 
{
void*p=NULL;
intret=posix_memalign((void*)&p, MP_ALIGNMENT, size);
if (ret)
returnNULL;
mp_large_t*large;
// 查找是否有已经释放的large,在large list里面找到一个 null的节点size_tn=0;
for (large=pool->large; large; large=large->next)
    {
if (large->alloc==NULL)
        {
large->alloc=p;
returnp;
        }
// 避免遍历链条太长if (n++>3)
break;
    }
// 大内存块的头作为小块保存在small中large=mp_alloc_small(pool, sizeof(mp_large_t));
// 头插法large->alloc=p;
large->next=pool->large;
pool->large=large;
}

5.7、申请内存

void*mp_malloc(mp_pool_t*pool, size_tsize)
{
if (size>pool->max)
returnmp_alloc_large(pool, size);
mp_node_t*p=pool->current;
while (p)
    {
if (p->end-p->last<size)
        {
p=p->next;
continue;
        }
unsignedchar*m=mp_align_ptr(p->last, MP_ALIGNMENT);
p->last=m+size;
returnm;
    }
returnmp_alloc_small(pool, size);
}
void*mp_calloc(mp_pool_t*pool, size_tsize) 
{
void*p=mp_malloc(pool, size);
if (p) {
memset(p, 0, size);
    }
returnp;
}

5.8、释放内存

voidmp_free(mp_pool_t*pool, void*p)
{
mp_large_t*l;
for (l=pool->large; l; l=l->next)
    {
if (p==l->alloc)
        {
free(l->alloc);
l->alloc=NULL;
return;
        }
    }
}

5.9、完整示例代码

为避免文章篇幅过长,完整代码已上传gitee:内存池完整示例代码

欢迎关注公众号《Lion 莱恩呀》学习技术,每日推送文章。

总结

设计一个内存池,可以有效的避免内存碎片和避免频繁的内存创建‘释放。程序通常能管理的内存主要是堆和共享内存(mmap)。应用层所谓的内存管理,主要是对堆上的内存池进行管理。

内存管理方式,使用比较多的是以2的n次方堆叠内存池以及大小块方式管理。nginx就是使用的大小块方式管理内存;为每个IO建立自己的内存池,IO生命周期结束再释放内存。

目录
相关文章
|
2月前
|
算法 JavaScript 前端开发
新生代和老生代内存划分的原理是什么?
【10月更文挑战第29天】新生代和老生代内存划分是JavaScript引擎为了更高效地管理内存、提高垃圾回收效率而采用的一种重要策略,它充分考虑了不同类型对象的生命周期和内存使用特点,通过不同的垃圾回收算法和晋升机制,实现了对内存的有效管理和优化。
|
3月前
|
C++
【C++】深入解析C/C++内存管理:new与delete的使用及原理(二)
【C++】深入解析C/C++内存管理:new与delete的使用及原理
|
3月前
|
编译器 C++ 开发者
【C++】深入解析C/C++内存管理:new与delete的使用及原理(三)
【C++】深入解析C/C++内存管理:new与delete的使用及原理
|
3月前
|
存储 C语言 C++
【C++】深入解析C/C++内存管理:new与delete的使用及原理(一)
【C++】深入解析C/C++内存管理:new与delete的使用及原理
|
5月前
|
监控 算法 Java
Java内存管理:垃圾收集器的工作原理与调优实践
在Java的世界里,内存管理是一块神秘的领域。它像是一位默默无闻的守护者,确保程序顺畅运行而不被无用对象所困扰。本文将带你一探究竟,了解垃圾收集器如何在后台无声地工作,以及如何通过调优来提升系统性能。让我们一起走进Java内存管理的迷宫,寻找提高应用性能的秘诀。
|
4月前
|
监控 算法 Java
深入理解Java中的垃圾回收机制在Java编程中,垃圾回收(Garbage Collection, GC)是一个核心概念,它自动管理内存,帮助开发者避免内存泄漏和溢出问题。本文将探讨Java中的垃圾回收机制,包括其基本原理、不同类型的垃圾收集器以及如何调优垃圾回收性能。通过深入浅出的方式,让读者对Java的垃圾回收有一个全面的认识。
本文详细介绍了Java中的垃圾回收机制,从基本原理到不同类型垃圾收集器的工作原理,再到实际调优策略。通过通俗易懂的语言和条理清晰的解释,帮助读者更好地理解和应用Java的垃圾回收技术,从而编写出更高效、稳定的Java应用程序。
|
5月前
|
缓存 Java 编译器
Go 中的内存布局和分配原理
Go 中的内存布局和分配原理
|
6月前
|
存储 算法 Linux
操作系统中的内存管理:从原理到实践
本文深入探讨了操作系统中至关重要的内存管理机制,揭示了从理论到实现的复杂过程。通过分析内存分配、虚拟内存以及分页和交换等概念,本篇文章旨在为读者提供对现代操作系统内存管理技术的全面理解。结合最新的技术动态和研究成果,文章不仅阐述了内存管理的基本原理,还讨论了其在实际操作系统中的应用和优化策略。
111 1
|
6月前
|
算法 Linux 调度
操作系统中的虚拟内存管理:原理与实现
本文深入探讨了操作系统中虚拟内存管理的核心概念,包括分页、分段、需求分页和页面置换算法。通过分析现代操作系统如Linux和Windows的虚拟内存实现机制,文章揭示了虚拟内存在提升内存利用率、进程隔离和保护内存中的关键作用。同时,讨论了虚拟内存管理面临的挑战,如内存泄漏、碎片化以及性能开销,并提出了相应的优化策略。
|
6月前
|
设计模式 存储 安全
Java面试题:设计一个线程安全的单例类并解释其内存占用情况?使用Java多线程工具类实现一个高效的线程池,并解释其背后的原理。结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
Java面试题:设计一个线程安全的单例类并解释其内存占用情况?使用Java多线程工具类实现一个高效的线程池,并解释其背后的原理。结合观察者模式与Java并发框架,设计一个可扩展的事件处理系统
73 1

热门文章

最新文章