内存泄漏专题(9)内存池陷阱

简介: 内存泄漏专题(9)内存池陷阱

内存池的引入,主要是解决内存碎片和内核开销的。其主要思路就是提前申请一块池子,后续的所有的内存操作都从池子里申请内存,用完了还给池子,减少与系统的交互。

因此,有了内存池的引入,基本上不需要考虑内存泄漏问题,因为我们将对内存的管理转换成了对内存池的生命周期管理。我们只需要在程序一开始申请一个池子,在程序结束的时候释放这个池子,基本不会出现内存泄漏。大概的伪代码如下所示:

#include <stdio.h>
#include "pool.h"
int main(void){
  pool_t *pool = pool_create(size);
  //业务流程
  proccess(pool);
  pool_destroy(pool);
  return 0;
}

内存池一般分为定长内存池和非定长内存池。定长内存池就是一开始就向系统申请一大块固定大小的内存,后续的操作只用这块内存。但定长内存池的不足之处在于我们很难预估实际业务需要用到多大的内存。

比如我们有一个服务端程序,它可以接受客户端的连接并传输数据。我们存储连接会话使用内存池的堆上内存,假设一个连接会话需要使用100字节内存,那么1000个连接就需要100kb内存,如果是1万个,100万个呢?那么可能就需要100M,甚至更高的内存。

我们无法预估到底有多少连接,因此我们只能尽可能多地申请内存。那么带来的一个问题就是,万一没有那么大的量呢?多申请的内存不就浪费了吗?

因此非定长内存池可以很好地解决这个问题。非定长内存池常规做法是一开始申请一块比较小的内存,如果后续需要用到的内存超过了当前内存池的大小,再对内存池进行扩容。但是非定长内存池说白了还是把使用权交还给开发者了,如果扩容频繁,会频繁与系统内核交互,仍然会产生很多内存碎片,而且更恐怖的是,内存扩容是没有上限的!

理论上来说,内存池应该是非常安全的才对,我又为什么说内存池会有内存泄漏的陷阱呢?原因就在于非定长内存池。

比较著名的开源非定长内存池,就是libapr,这是apache开源的一套C语言跨平台底层库。这里面就有一套apr_pool的内存池实现。接下来笔者就以apr_pool来举例,具体说一说内存池的内存泄漏陷阱。

看下面一段代码:

#ifdef HAVE_CONFIG_H
#include <config.h>
#endif
#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include <apr_general.h>
#include <apr_pools.h>
int main(int argc, const char *argv[])
{
    apr_status_t rv;
    apr_pool_t *mp;
    char *buf1;
    char *buf2;
    /* 框架开始 */
    rv = apr_initialize();
    if (rv != APR_SUCCESS) {
        assert(0);
        return -1;
    }
    /* 1.创建内存池 */
    apr_pool_create(&mp, NULL);
    /* 2.申请内存 */
    buf1 = apr_palloc(mp, 1024);
    buf2 = apr_palloc(mp, 1024);
    /* 3.对申请的内存块进行操作 */
  strcpy(buf1, "hello apr");
  strcpy(buf2, buf1);
  printf("buf1:%s, buf2:%s\n", buf1, buf2);
    /* 4.销毁内存池 */
    apr_pool_destroy(mp);
  /* 框架结束 */
    apr_terminate();
    return 0;
}

以上是一个libapr操作内存池的最简单的例子。上面的例子自然是没有内存泄漏的。

但是实际上的业务逻辑肯定不会像上面那么简单,而是形如下面的形式:

#ifdef HAVE_CONFIG_H
#include <config.h>
#endif
#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include <apr_general.h>
#include <apr_pools.h>
int got_exit = 0;
void term(int sig){
  got_exit = 1;
}
int main(int argc, const char *argv[])
{
    apr_status_t rv;
    apr_pool_t *mp;
    char *buf1;
    char *buf2;
    /* 框架开始 */
    rv = apr_initialize();
    if (rv != APR_SUCCESS) {
        assert(0);
        return -1;
    }
    /* 1.创建内存池 */
    apr_pool_create(&mp, NULL);
  signal(SIGTERM, term);
  signal(SIGINT, term);
    /* 2.业务逻辑 mainloop */
    while(got_exit){
      buf1 = apr_palloc(mp, 1024);
      buf2 = apr_palloc(mp, 1024);
    strcpy(buf1, "hello apr");
    strcpy(buf2, buf1);
    printf("buf1:%s, buf2:%s\n", buf1, buf2);
  }
    /* 3.销毁内存池 */
    apr_pool_destroy(mp);
  /* 框架结束 */
    apr_terminate();
    return 0;
}

上面的代码更符合实际的项目代码使用逻辑。我们在程序一开始申请了一个内存池,然后进入mainloop进行业务处理,这个mainloop通常是不会退出的,只有当接收到了退出信号的时候,才会退出,在退出的时候,会销毁内存池。

这段代码的可怕之处在于,你使用valgrind之类的内存检测工具,根本检测不出来它有内存泄漏!但是随着程序的不间断运行,你的内存又会被程序不断蚕食,直到系统的物理内存全部被吃光!

而当代码变得庞杂之后,这样的细微操作是最不会让人提防的,很可能因为一个很小的函数里使用了内存池,而这个函数要被频繁调用,从而导致内存不断增加。所以,检查不出来的内存泄漏,才是最可怕的内存泄漏。

那么,这种情况就不能避免吗?

当然是可以的。我们需要养成任何时候都要使用子内存池的习惯,这样就不会造成无谓的内存池无限扩容,上述代码修改如下:

#ifdef HAVE_CONFIG_H
#include <config.h>
#endif
#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include <apr_general.h>
#include <apr_pools.h>
int got_exit = 0;
void term(int sig){
  got_exit = 1;
}
int main(int argc, const char *argv[])
{
    apr_status_t rv;
    apr_pool_t *mp;
    char *buf1;
    char *buf2;
    /* 框架开始 */
    rv = apr_initialize();
    if (rv != APR_SUCCESS) {
        assert(0);
        return -1;
    }
    /* 1.创建内存池 */
    apr_pool_create(&mp, NULL);
  signal(SIGTERM, term);
  signal(SIGINT, term);
    /* 2.业务逻辑 mainloop */
    while(got_exit){
      apr_pool_t *child = NULL;
      apr_pool_create(&child, mp);
      buf1 = apr_palloc(child, 1024);
      buf2 = apr_palloc(child, 1024);
    strcpy(buf1, "hello apr");
    strcpy(buf2, buf1);
    printf("buf1:%s, buf2:%s\n", buf1, buf2);
    apr_pool_destroy(child);
  }
    /* 3.销毁内存池 */
    apr_pool_destroy(mp);
  /* 框架结束 */
    apr_terminate();
    return 0;
}

如上所示,我们每次都从父池子里申请一个子池子,然后使用完成后,调用apr_pool_destroy将子池子的内存归还给父池子,这样,只要每一轮调用中,没有特别出格的内存调用,父池子的大小会保持在一个相对稳定的大小,而不会无线扩张。


本专栏知识点是通过<零声教育>的系统学习,进行梳理总结写下文章,对C/C++课程感兴趣的读者,可以点击链接,查看详细的服务:C/C++Linux服务器开发/高级架构师

目录
相关文章
|
2月前
|
监控 NoSQL Java
遇到内存泄漏
遇到内存泄漏
28 0
|
14天前
|
存储 缓存 监控
Java内存管理:垃圾回收与内存泄漏
【4月更文挑战第16天】本文探讨了Java的内存管理机制,重点在于垃圾回收和内存泄漏。垃圾回收通过标记-清除过程回收无用对象,Java提供了多种GC类型,如Serial、Parallel、CMS和G1。内存泄漏导致内存无法释放,常见原因包括静态集合、监听器、内部类、未关闭资源和缓存。内存泄漏影响性能,可能导致应用崩溃。避免内存泄漏的策略包括代码审查、使用分析工具、合理设计和及时释放资源。理解这些原理对开发高性能Java应用至关重要。
|
4月前
|
存储 编译器 Linux
【探讨C++内存管理:有效避免内存泄漏与提高性能的关键】(下)
【探讨C++内存管理:有效避免内存泄漏与提高性能的关键】
|
4月前
|
存储 C语言 C++
【探讨C++内存管理:有效避免内存泄漏与提高性能的关键】(上)
【探讨C++内存管理:有效避免内存泄漏与提高性能的关键】
|
4月前
|
架构师 编译器 程序员
内存泄露专题(1)何为内存泄露
内存泄露专题(1)何为内存泄露
19 1
|
4月前
|
存储 C++
什么是内存泄漏?如何避免内存泄漏?
什么是内存泄漏?如何避免内存泄漏?
26 0
有趣的"内存泄漏"
有趣的"内存泄漏"
|
9月前
|
缓存 JavaScript Java
什么是内存泄漏?什么原因会导致呢?
什么是内存泄漏?什么原因会导致呢?
57 0
|
缓存 数据库 Android开发
内存泄漏那些事
内存泄漏那些事
108 0
内存泄漏那些事