内存池完整实现代码及一些思考

简介: 为了提高效率和有效的监控内存的实时状态,我们采取了内存池的思想来解决效率与对内存实现监控的问题。 网上查找到了一些方案,根据自己的理解实现了应用。    我们什么时候要调用到内存池,    1,当我们频繁的申请释放同样数据大小的内存空间,我们可以用比动态new更有效方式来管理内存时,我们应该用内存池来提高效率。

为了提高效率和有效的监控内存的实时状态,我们采取了内存池的思想来解决效率与对内存实现监控的问题。

网上查找到了一些方案,根据自己的理解实现了应用。

   我们什么时候要调用到内存池,

   1,当我们频繁的申请释放同样数据大小的内存空间,我们可以用比动态new更有效方式来管理内存时,我们应该用内存池来提高效率。

   2,当我们需要知道内存实时的申请状态,以便于对于服务器内存状态做实时预警时,我们可以用内存池的接口,来给内存增加监控。

 

实现的特点:

   1,内存池内存单元大小可以动态定义,实现多级内存池。

   2,申请效率很高,单元测试下是普通new/delete的4倍左右,当然具体性能还应机器类别而异。

   

 

MemoryPool.h 的实现

 

//该内存池理论来自于IBM文章,http://www.ibm.com/developerworks/cn/linux/l-cn-ppp/index6.html
//作者冯宏华,徐莹,程远,汪磊享有论文著作权,由2011-06-06 konyel lin根据相关代码和理论进行优化修改。

#include <string>
#include <malloc.h>
//内存对齐值,可以根据机器取指长度进行设置
#define MEMPOOL_ALIGNMENT 4

#define USHORT unsigned short
#define ULONG unsigned long

struct MemoryBlock
{
  USHORT nSize;
  USHORT nFree;
  USHORT nFirst;
  USHORT nDummyAlign1;
  MemoryBlock* pNext;
  char aData[1];
  static void* operator new(size_t,USHORT nTypes, USHORT nUnitSize){
     return ::operator new(sizeof(MemoryBlock) + nTypes * nUnitSize);
  }
  static void operator delete(void *p, size_t){
      ::operator delete (p);
  }
  MemoryBlock (USHORT nTypes = 1, USHORT nUnitSize = 0);
  ~MemoryBlock() {}
};

class MemoryPool
{
   private:
   MemoryBlock* pBlock;
   USHORT nUnitSize;
   USHORT nInitSize;
   USHORT nGrowSize;
   public:
   MemoryPool( USHORT nUnitSize,
   USHORT nInitSize = 1024,
   USHORT nGrowSize = 256 );
   ~MemoryPool();
   void* Alloc();
   void Free( void* p );
};

 

 

MemoryPool.cpp 的实现

 

#include "MemoryPool.h"

MemoryPool::MemoryPool( USHORT _nUnitSize,
USHORT _nInitSize, USHORT _nGrowSize )
{
  pBlock = NULL;
  nInitSize = _nInitSize;
  nGrowSize = _nGrowSize;
  if ( _nUnitSize > 4 ) 

  nUnitSize = (_nUnitSize + (MEMPOOL_ALIGNMENT-1)) & ~(MEMPOOL_ALIGNMENT-1);
  else if ( _nUnitSize <= 2 )
  nUnitSize = 2;
  else
  nUnitSize = 4;
}

void* MemoryPool::Alloc()
{
  MemoryBlock* pMyBlock;
  if ( !pBlock ){
     //第一次调用初始化内存块
     pMyBlock =new(nGrowSize, nUnitSize) MemoryBlock(nGrowSize, nUnitSize);
     pBlock = pMyBlock;
      return (void*)(pMyBlock->aData);
  }
  pMyBlock = pBlock;
  while (pMyBlock && !pMyBlock->nFree )
    pMyBlock = pMyBlock->pNext;
  if ( pMyBlock ){
    printf("get a mem from block/n");
    char* pFree = pMyBlock->aData+(pMyBlock->nFirst*nUnitSize);
    //aData记录实际的内存单元标识
    pMyBlock->nFirst = *((USHORT*)pFree);
    pMyBlock->nFree--;
    return (void*)pFree;
  }
  else{
    printf("add a new block/n");
    if (!nGrowSize)
    return NULL;
    pMyBlock = new(nGrowSize, nUnitSize) MemoryBlock(nGrowSize, nUnitSize);
    if (!pMyBlock )
    return NULL;
    pMyBlock->pNext = pBlock;
    pBlock = pMyBlock;
    return (void*)(pMyBlock->aData);
  }
}


void MemoryPool::Free( void* pFree ){
  MemoryBlock* pMyBlock = pBlock;
  MemoryBlock* preMyBlock;
  //确定该待回收分配单元(pFree)落在哪一个内存块的指针范围内,大于起始节点,小于终止节点。
  while ( ((ULONG)pMyBlock->aData > (ULONG)pFree) ||
  ((ULONG)pFree >= ((ULONG)pMyBlock->aData + pMyBlock->nSize))){
    //不在内存块范围内,则历遍下一个节点
    preMyBlock=pMyBlock;
    pMyBlock=pMyBlock->pNext;
  }
  pMyBlock->nFree++;
  *((USHORT*)pFree) = pMyBlock->nFirst;
  pMyBlock->nFirst = (USHORT)(((ULONG)pFree-(ULONG)(pBlock->aData)) / nUnitSize);
  //判断内存块是否全部为自由状态,是则释放整个内存块
  if (pMyBlock->nFree*nUnitSize == pMyBlock->nSize ){
     preMyBlock->pNext=pMyBlock->pNext;
     delete pMyBlock;
  }
}

MemoryBlock::MemoryBlock (USHORT nTypes, USHORT nUnitSize)
: nSize (nTypes * nUnitSize),
    nFree (nTypes - 1),
  nFirst (1),
  pNext (0)
{
  char * pData = aData;
  for (USHORT i = 1; i < nTypes; i++) {
    //将内存块的前2个字节用来存放内存单元的标识
    *reinterpret_cast<USHORT*>(pData) = i;
    pData += nUnitSize;
  }
}

目录
相关文章
|
6月前
|
存储 缓存 Java
优化Java代码中的内存使用:使用WeakHashMap解决内存泄漏问题
在Java应用程序中,内存泄漏是一个常见的问题,尤其是在处理大量对象时。本文将介绍如何使用WeakHashMap数据结构来解决内存泄漏问题,通过示例代码演示其在实际项目中的应用,从而提高Java代码的性能和可靠性。
|
6月前
|
存储 数据可视化 C++
提高代码效率的6个Python内存优化技巧
当项目变得越来越大时,有效地管理计算资源是一个不可避免的需求。Python与C或c++等低级语言相比,似乎不够节省内存。 但是其实有许多方法可以显著优化Python程序的内存使用,这些方法可能在实际应用中并没有人注意,所以本文将重点介绍Python的内置机制,掌握它们将大大提高Python编程技能。
224 0
|
6月前
|
IDE Linux 开发工具
内存泄漏检测工具Valgrind:C++代码问题检测的利器(一)
内存泄漏检测工具Valgrind:C++代码问题检测的利器
1472 0
|
21天前
|
存储 JavaScript 前端开发
如何优化代码以避免闭包引起的内存泄露
本文介绍了闭包引起内存泄露的原因,并提供了几种优化代码的策略,帮助开发者有效避免内存泄露问题,提升应用性能。
|
6月前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之idea本地测试代码,要增大 Flink CDC 在本地 IDEA 测试环境中的内存大小如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
100 1
|
6月前
|
存储 C++
webserver--Buffer类实现内存缓冲区读写(全代码)
webserver--Buffer类实现内存缓冲区读写(全代码)
|
3月前
|
存储 缓存 JSON
一行代码,我优化掉了1G内存占用
这里一行代码,指的是:String.intern()的调用,为了调用这一行代码,也写了几十行额外的代码。
|
3月前
|
缓存 Java
Java内存管理秘籍:掌握强软弱幻四大引用,让代码效率翻倍!
【8月更文挑战第29天】在Java中,引用是连接对象与内存的桥梁,主要分为强引用、软引用、弱引用和幻象引用。强引用确保对象生命周期由引用控制,适用于普通对象;软引用在内存不足时可被回收,适合用于内存敏感的缓存;弱引用在无强引用时即可被回收,适用于弱关联如监听器列表;幻象引用需与引用队列配合使用,用于跟踪对象回收状态,适用于执行清理工作。合理使用不同类型的引用车可以提升程序性能和资源管理效率。
45 4
|
3月前
|
前端开发 JavaScript Java
揭开 JavaScript 垃圾回收的秘密——一场与内存泄漏的生死较量,让你的代码从此焕然一新!
【8月更文挑战第23天】本文通过多个实例深入探讨了JavaScript中的垃圾回收机制及其对应用性能的影响。首先介绍了基本的内存管理方式,随后分析了变量不再使用时的回收过程。接着,通过事件监听器未被移除及全局变量管理不当等场景展示了常见的内存泄漏问题。最后,文章介绍了使用`WeakRef`和`FinalizationRegistry`等现代API来有效避免内存泄漏的方法。理解并运用这些技术能显著提升Web应用的稳定性和效率。
91 0
|
4月前
|
存储 Rust JavaScript
Rust 问题之TypeScript 代码,变量 s 存储在栈内存中还是堆内存中如何解决
Rust 问题之TypeScript 代码,变量 s 存储在栈内存中还是堆内存中如何解决