内存泄漏检测组件

简介: 内存泄漏检测组件

一、内存泄漏概述


1.1 什么是内存泄漏

内存泄漏是在没有自动 gc 的编程语言里面,经常发生的一个问题。


自动垃圾回收(Automatic Garbage Collection,简称 GC)是一种内存管理技术,在程序运行时自动检测和回收不再使用的内存对象,以避免内存泄漏和释放已分配内存的负担。


因为没有 gc,所以分配的内存需要程序员自己调用释放。其核心原因是调用分配与释放没有符合开闭原则,没有配对,形成了有分配,没有释放的指针,从而产生了内存泄漏。


void func(size_t s1)
{
  void p1=malloc(s1);
  void p2=malloc(s1);
  free(p1);
}

以上代码段,分配了两个s1大小的内存块,由 p1 与 p2 指向。而代码块执行完以后,释放了 p1,而 p2 没有释放。形成了有分配没有释放的指针,产生了内存泄漏。


1.2 内存泄漏导致的后果

随着工程代码量越来越多,有分配没有释放,自然会使得进程堆的内存会越来越少,直到耗尽。从而导致后面的运行时代码不能成功分配内存,使程序奔溃。


1.3 内存泄漏解决思路

最好的办法肯定是引入自动垃圾回收gc。但是这不适合C/C++语言。


解决内存泄漏,我们需要解决两点:

1)能够检测出来是否发送内存泄漏

2)如果发生内存泄漏,能够检测出来具体是哪一行代码所引起的。


内存泄漏是由于内存分配与内存释放,不匹配所引起的。因此对内存分配函数malloc/calloc/realloc,以及内存释放函数free进行“劫持”hook,就能能够统计出内存分配的位

置,内存释放的位置,从而判断是否匹配。


二、宏定义方法

2.1 宏定义

使用宏定义,替换系统的内存分配接口。并利用__FILE__、__LINE__分别获取当前编译文件的文件名、行号,进行追踪位置信息。

#define malloc(size)    _malloc(size, __FILE__, __LINE__)
#define free(ptr)       _free(ptr, __FILE__, __LINE__)

需要注意的是,宏定义一定要放在内存分配之前,这样预编译阶段才会替换为我们自己实现的_malloc和_free。


2.2 检测位置

为了方便观察,我们可以在内存分配_malloc的时候,创建一个文件。文件名为指向新分配内存的指针值,文件内容为指针值、调用_malloc时的文件名、行号。

在该内存释放_free的时候,删除该指针对应的文件。

最后,程序运行结束,如果没有文件说明没有内存泄漏,否则说明存在内存泄漏。


2.3 结果分析

#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
void *_malloc(size_t size, const char *filename, int line){
    void *ptr = malloc(size);
    char buffer[128] = {0};
    sprintf(buffer, "./memory/%p.memory", ptr);
    FILE *fp = fopen(buffer, "w");
    fprintf(fp, "[+]addr: %p, filename: %s, line: %d\n", ptr, filename, line);
    fflush(fp);
    fclose(fp);
    return ptr;
}
void _free(void *ptr, const char *filename, int line){
    char buffer[128] = {0};
    sprintf(buffer, "./memory/%p.memory", ptr);
    if (unlink(buffer) < 0){
        printf("double free: %p\n", ptr);
        return;
    }
    return free(ptr);
}
#define malloc(size)    _malloc(size, __FILE__, __LINE__)
#define free(ptr)       _free(ptr, __FILE__, __LINE__)
int main() {
    void *p1 = malloc(5);
    void *p2 = malloc(18);
    void *p3 = malloc(15);
    free(p1);
    free(p3);
}

最后在memory文件夹里,可以看到存在一个文件,说明有一个地方出现内存泄漏


b09b10efd5139183e3296b06c8d33948_36172e11f6224d9dba0cdd81f375377f.png

[+]addr: 0x559e55b6e8b0, filename: fun1.c, line: 39

从结果上看,内存泄漏发生第39行。


三、hook方法

利用 hook 机制改写系统的内存分配函数。


3.1 hook

hook方法的实现分三个步骤

1)定义函数指针。

typedef void *(*malloc_t)(size_t size);
malloc_t malloc_f = NULL;
typedef void (*free_t)(void *ptr);
free_t free_f = NULL;

2)函数实现,函数名与目标函数名一致。


void *malloc(size_t size)
{
  //改写的功能
}
void free(void *ptr)
{
  //改写的功能
}

3)初始化hook,调用dlsym()。

void init_hook(){
    if (!malloc_f){
        malloc_f = dlsym(RTLD_NEXT, "malloc");
    }
    if (!free_f){
        free_f = dlsym(RTLD_NEXT, "free");
    }
}

3.2 检测位置

宏定义的方法在检测调用所在行号的时候使用了系统定义的__LINE__,因为是宏定义的malloc,预编译时候直接嵌入。因此__LINE__返回的就是调用malloc的位置。


但是hook方法不一样,系统定义的__LINE__在函数内部调用,无法确定在主函数中的调用位置。比如


fprintf(fp, "[+]addr: %p, filename: %s, line: %d\n", ptr, filename, line);

返回的就是fprintf所在的行号。


因此使用gcc 提供的__builtin_return_address,该函数返回当前函数或其调用者之一的返回地址。 参数level 表示向上扫描调用堆栈的帧数。比如对于 main --> f1() --> f2() --> f3() ,f3()函数里面调用 __builtin_return_address (0),返回f3的地址;调用 __builtin_return_address (1),返回f2的地址;


3.3 递归调用

hook的时候,要考虑其他函数也用到所hook住的函数,比如在printf()函数里面也调用了malloc,那么就需要防止内部递归进入死循环。

f27dc9c2c32ed9bb9eab7cf540ec6e76_44425a3dd2114ab39fcda0399b0c9920.png

通过gdb调试,在第23行打断点,发现每次运行都回到了23行。

这是因为sprintf隐含调用了malloc,这样就陷入一个循环:

23行的sprintf —> 自定义的malloc —> 23行的sprintf —> 自定义的malloc --> 23行的sprintf —> 自定义的malloc --> ……

解决办法是,限制调用次数。当进入 malloc 函数内部后,根据自己的需要,设置 hook 的开关。在关闭的区域内调用 malloc 后进入到 else 部分执行原来的 hook 函数,避免了无限递归的发生。


int enable_malloc_hook = 1;
void *malloc(size_t size) { 
    // 执行改写的 malloc 函数
    if (enable_malloc_hook) {
        enable_malloc_hook = 0;
        // 关闭 hook, printf 内部的 malloc 执行 else 的部分
       // 其他代码
        enable_malloc_hook = 1;
    }
    // 执行原来的 malloc 函数
    else {
        p = malloc_f(size);
    }
}

3.4 结果分析

// gcc -o fun2 fun2.c -ldl -g
#define _GNU_SOURCE
#include <dlfcn.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <link.h>
typedef void *(*malloc_t)(size_t size);
malloc_t malloc_f = NULL;
typedef void (*free_t)(void *ptr);
free_t free_f = NULL;
int enable_malloc_hook = 1;
int enable_free_hook = 1;
void *malloc(size_t size){
    void *ptr = NULL;
    if (enable_malloc_hook ){
        enable_malloc_hook = 0; 
        enable_free_hook = 0;
        ptr = malloc_f(size);
        void *caller = __builtin_return_address(0);
        char buffer[128] = {0};
        sprintf(buffer, "./memory/%p.memory", ptr);
        FILE *fp = fopen(buffer, "w");
        fprintf(fp, "[+] caller: %p, addr: %p, size: %ld\n", caller, ptr, size);
        fflush(fp);
        fclose(fp);
        enable_malloc_hook = 1;
        enable_free_hook = 1;
    }
    else {
        ptr = malloc_f(size);
    }
    return ptr;
}
void free(void *ptr){
    if (enable_free_hook ){
        enable_free_hook = 0;
        enable_malloc_hook = 0;
        char buffer[128] = {0};
        sprintf(buffer, "./memory/%p.memory", ptr);
        if (unlink(buffer) < 0){
            printf("double free: %p\n", ptr);
            return;
        }
        free_f(ptr);
        enable_malloc_hook = 1;
        enable_free_hook = 1;
    }
    else {
        free_f(ptr);
    }
}
void init_hook(){
    if (!malloc_f){
        malloc_f = dlsym(RTLD_NEXT, "malloc");
    }
    if (!free_f){
        free_f = dlsym(RTLD_NEXT, "free");
    }
}
int main(){
    init_hook();
    void *p1 = malloc(5);
    void *p2 = malloc(18);
    void *p3 = malloc(15);
    free(p1);
    free(p3);
}

305031bd546a201823f346326dc91978_fb3a87783f264f37948dce4538ccc60e.png

从结果看存在一个内存泄漏,但是 caller:0x16bb 是地址,不是具体行号。使用addr2line可以将地址转换为文件名和行号。


3.5 addr2line

利用addr2line工具,将地址转换为文件名和行号,得到源文件的行数(根据机器码地址定位到源码所在行数)


addr2line -f -e fun2 -a 0x16bb

参数:

-f:显示函数名信息。

-e filename:指定需要转换地址的可执行文件名。

-a address:显示指定地址(十六进制)。


但是,高版本 gcc 下使用 addr2line 命令会出现乱码问题。


??
??:0

addr2line 作用于 ELF 可执行文件,而高版本的 gcc 调用 __builtin_return_address返回的地址 caller 位于内存映像上,所以会产生乱码。

03b98054a6c81ead40f9df3e5d16eb6a_353737628a934da7a097baa8c69accd4.png

解决办法是利用动态链接库的dladdr函数 ,作用于共享目标,可以获取某个地址的符号信息。使用该函数可以解析符号地址


// gcc -o fun2 fun2.c -ldl -g
#define _GNU_SOURCE
#include <dlfcn.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <link.h>
// 解析地址
void* converToELF(void *addr) {
    Dl_info info;
    struct link_map *link;
    dladdr1(addr, &info, (void **)&link, RTLD_DL_LINKMAP);
    // printf("%p\n", (void *)(size_t)addr - link->l_addr);
    return (void *)((size_t)addr - link->l_addr);
}
typedef void *(*malloc_t)(size_t size);
malloc_t malloc_f = NULL;
typedef void (*free_t)(void *ptr);
free_t free_f = NULL;
int enable_malloc_hook = 1;
int enable_free_hook = 1;
void *malloc(size_t size){
    void *ptr = NULL;
    if (enable_malloc_hook ){
        enable_malloc_hook = 0; 
        ptr = malloc_f(size);
        void *caller = __builtin_return_address(0);
        char buffer[128] = {0};
        sprintf(buffer, "./memory/%p.memory", ptr);
        FILE *fp = fopen(buffer, "w");
        // converToELF(caller)
        fprintf(fp, "[+] caller: %p, addr: %p, size: %ld\n", converToELF(caller), ptr, size);
        fflush(fp);
        fclose(fp);
        enable_malloc_hook = 1;
    }
    else {
        ptr = malloc_f(size);
    }
    return ptr;
}
void free(void *ptr){
    if (enable_free_hook ){
        enable_free_hook = 0;
        char buffer[128] = {0};
        sprintf(buffer, "./memory/%p.memory", ptr);
        if (unlink(buffer) < 0){
            printf("double free: %p\n", ptr);
            return;
        }
        free_f(ptr);
        enable_free_hook = 1;
    }
    else {
        free_f(ptr);
    }
}
void init_hook(){
    if (!malloc_f){
        malloc_f = dlsym(RTLD_NEXT, "malloc");
    }
    if (!free_f){
        free_f = dlsym(RTLD_NEXT, "free");
    }
}
int main(){
    init_hook();
    void *p1 = malloc(5);
    void *p2 = malloc(18);
    void *p3 = malloc(15);
    free(p1);
    free(p3);
}

四、__libc_malloc 和 __libc_free

思路和hook的一样,因为malloc和free底层调用的也是__libc_malloc和__libc_free。

// gcc -o fun3 fun3.c
#define _GNU_SOURCE
#include <dlfcn.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <link.h>
void* converToELF(void *addr) {
    Dl_info info;
    struct link_map *link;
    dladdr1(addr, &info, (void **)&link, RTLD_DL_LINKMAP);
    // printf("%p\n", (void *)(size_t)addr - link->l_addr);
    return (void *)((size_t)addr - link->l_addr);
}
extern void *__libc_malloc(size_t size);
extern void *__libc_free(void *ptr);
int enable_malloc_hook = 1;
int enable_free_hook = 1;
void *malloc(size_t size){
    void *ptr = NULL;
    if (enable_malloc_hook ){
        enable_malloc_hook = 0; 
        enable_free_hook = 0;
        ptr = __libc_malloc(size);
        void *caller = __builtin_return_address(0);
        char buffer[128] = {0};
        sprintf(buffer, "./memory/%p.memory", ptr);
        FILE *fp = fopen(buffer, "w");
        fprintf(fp, "[+] caller: %p, addr: %p, size: %ld\n", converToELF(caller), ptr, size);
        fflush(fp);
        fclose(fp);
        enable_malloc_hook = 1;
        enable_free_hook = 1;
    }
    else {
        ptr = __libc_malloc(size);
    }
    return ptr;
}
void free(void *ptr){
    if (enable_free_hook ){
        enable_free_hook = 0;
        enable_malloc_hook = 0;
        char buffer[128] = {0};
        sprintf(buffer, "./memory/%p.memory", ptr);
        if (unlink(buffer) < 0){
            printf("double free: %p\n", ptr);
            return;
        }
        __libc_free(ptr);
        enable_malloc_hook = 1;
        enable_free_hook = 1;
    }
    else {
        __libc_free(ptr);
    }
}
int main(){
    void *p1 = malloc(5);
    void *p2 = malloc(18);
    void *p3 = malloc(15);
    free(p1);
    free(p3);
}
目录
相关文章
|
3月前
|
缓存 监控 Python
在Python中,如何检测和处理内存泄漏?
【2月更文挑战第7天】【2月更文挑战第18篇】在Python中,如何检测和处理内存泄漏?
|
4月前
|
安全 Linux 编译器
内存泄漏检测组件的分析与实现(linux c)-mtrace工具使用
内存泄漏产生原因 在堆上使用malloc/remalloc/calloc分配了内存空间,但是没有使用free释放对应的空间。
76 0
|
4月前
|
Java C++
动手实现内存泄漏检测组件
动手实现内存泄漏检测组件
37 1
|
4月前
使用mtrace进行内存泄漏检测
使用mtrace进行内存泄漏检测
76 1
|
2月前
|
IDE Linux 开发工具
内存泄漏检测工具Valgrind:C++代码问题检测的利器(一)
内存泄漏检测工具Valgrind:C++代码问题检测的利器
95 0
|
2月前
|
缓存 Linux iOS开发
【C/C++ 集成内存调试、内存泄漏检测和性能分析的工具 Valgrind 】Linux 下 Valgrind 工具的全面使用指南
【C/C++ 集成内存调试、内存泄漏检测和性能分析的工具 Valgrind 】Linux 下 Valgrind 工具的全面使用指南
68 1
|
2月前
|
缓存 测试技术 开发工具
内存泄漏检测工具Valgrind:C++代码问题检测的利器(二)
内存泄漏检测工具Valgrind:C++代码问题检测的利器
35 0
|
2月前
|
Python
在Python中,如何检测和修复内存泄漏?
在Python中,如何检测和修复内存泄漏?
108 0
|
4月前
|
Web App开发 前端开发 JavaScript
JavaScript 内存泄漏的检测与防范:让你的程序更稳定
JavaScript 内存泄漏的检测与防范:让你的程序更稳定
JavaScript 内存泄漏的检测与防范:让你的程序更稳定
|
4月前
|
缓存 算法 Linux
Linux 内存泄漏检测的基本原理
Linux 内存泄漏检测的基本原理
112 0