内存池的实现与场景分析

简介: 内存池的实现与场景分析

内存池场景分析

不同的场景下,内存池的设计是不一样的,以下是几个举例:

  1. 短链接和长连接。在kv存储中,经常以短链接为key,长链接为value。长链接的长度一般是固定的,短链接的长度一般也在某个区间内。我们在这种场景下只需要考虑固定分配的内存块。大块内存,不均匀内存等情况是不需要考虑的。
  2. 为每一个连接单独创建内存池。这种情况下内存池建立的时间和释放的时间和建立连接、断开连接的时点是一致的,内存块的大小根据业务场景的不同而定。
  3. 实现文章的存储。每篇文章的长短大小不一,需要的内存大小也不一。

我们设计内存池的不需要考虑得面面俱到,能把单一的场景解决得很好即可。比较通用且开源的内存池框架有jemalloc和tcmalloc等。

内存池的好处

  1. 避免了频繁的内存分配
  2. 避免了频繁分配内存导致的碎片化空隙。

针对固定块建立内存池

内存池包括管理用的结构体、内存页,以及内存页里被分割为多个小块。

设计内存池结构体

设计内存池结构体。内存池结构体的属性包括内存块大小、待使用的内存块的数量、下一个要使用的内存块的指针、内存页的指针。

设计内存池接口

包括初始化、销毁、分配、释放。

实现内存池的接口

内存页相关

首先,要先声明页的大小。

初始化内存池

先申请一块内存页。需要注意的是,内存页会被切割为多个内存块。每个内存块的前4个字节存放的是下一个内存块的地址,由此形成了一个单向链表便于后续管理。此处注意二级指针的用法,二级指针所指向的空间只能放置指针。

销毁内存池

直接销毁内存页即可

申请内存块

内存块是本身就存在的。申请内存块的本意是将下一个要使用的内存块的指针取出,取出完成后更新指针。

释放内存块

释放的时候,记得把被释放内存块里存储的指针指向释放前的空闲块,以便在利用该空闲块后,能接着使用本该使用的内存块。

运行结果

为每一个连接单独创建内存池

上一种内存池情况针对的情况是大小固定、释放时间不固定。这种情况是大小不固定,释放时间固定。当连接断开的时候,内存池也随之释放,所以只需要设计销毁函数不需要设计释放函数。其关键是将内存页串为链表,以及统一释放。

定义内存页节点和内存页链表管理结构体

内存页节点结构体包括:内存页剩余空间的起始地址,下一个内存页地址,刚好超出内存页末尾的地址。

内存页链表管理结构体包括:第一个内存页节点,当前使用的内存页节点,内存页的大小。

初始化内存页管理结构体

申请一个内存页,在内存页头部存放一个内存页结构体,用于形成管理对应的内存页,以及寻找下一个内存页。

同时修改内存页管理结构体。

销毁内存页节点

和正常地链表释放没有区别

申请内存使用

逻辑是如果在当前内存页可以申请到足够的内存空间直接申请。如果申请不到那么循环遍历之后的节点的空间是否足够。如果一直没有足够的空间,那么建立新的内存页节点。

运行结果

目录
打赏
0
0
0
0
3
分享
相关文章
监控和分析 JavaScript 内存使用情况
【10月更文挑战第30天】通过使用上述的浏览器开发者工具、性能分析工具和内存泄漏检测工具,可以有效地监控和分析JavaScript内存使用情况,及时发现和解决内存泄漏、过度内存消耗等问题,从而提高JavaScript应用程序的性能和稳定性。在实际开发中,可以根据具体的需求和场景选择合适的工具和方法来进行内存监控和分析。
课时4:对象内存分析
接下来对对象实例化操作展开初步分析。在整个课程学习中,对象使用环节往往是最棘手的问题所在。
go的内存逃逸分析
内存逃逸分析是Go编译器在编译期间根据变量的类型和作用域,确定变量分配在堆上还是栈上的过程。如果变量需要分配在堆上,则称作内存逃逸。Go语言有自动内存管理(GC),开发者无需手动释放内存,但编译器需准确分配内存以优化性能。常见的内存逃逸场景包括返回局部变量的指针、使用`interface{}`动态类型、栈空间不足和闭包等。内存逃逸会影响性能,因为操作堆比栈慢,且增加GC压力。合理使用内存逃逸分析工具(如`-gcflags=-m`)有助于编写高效代码。
场景题:有40亿个QQ号如何去重?仅1GB内存
在处理大数据去重问题时,如40亿QQ号的去重(仅1GB内存),可采用Bitmap和布隆过滤器两种方法。Bitmap利用位图存储,每个QQ号占1位,总需512MB内存,适用于整型数据;布隆过滤器通过多个哈希函数计算下标,适合字符串或对象去重,但存在误判率。在线人员统计等场景也可使用类似思路,将ID作为偏移值标记在线状态或视频存在性。
71 2
|
5月前
|
如何使用内存快照分析工具来分析Node.js应用的内存问题?
需要注意的是,不同的内存快照分析工具可能具有不同的功能和操作方式,在使用时需要根据具体工具的说明和特点进行灵活运用。
176 62
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
120 1
【Azure App Service】部署在App Service上的.NET应用内存消耗不能超过2GB的情况分析
x64 dotnet runtime is not installed on the app service by default. Since we had the app service running in x64, it was proxying the request to a 32 bit dotnet process which was throwing an OutOfMemoryException with requests >100MB. It worked on the IaaS servers because we had the x64 runtime install
内存池适用于哪些场景
内存池适用于哪些场景
使用 Chrome 浏览器的内存分析工具来检测 JavaScript 中的内存泄漏
【10月更文挑战第25天】利用 Chrome 浏览器的内存分析工具,可以较为准确地检测 JavaScript 中的内存泄漏问题,并帮助我们找出潜在的泄漏点,以便采取相应的解决措施。
721 9

热门文章

最新文章