【C++】STL之空间配置器(了解)

简介: 【C++】STL之空间配置器(了解)

一、什么是空间配置器

空间配置器 ,顾名思义就是为各个容器高效的管理空间(空间的申请与回收)的,在默默地工作。虽然在常规使用 STL 时,可能用不到它,但站在学习研究的角度,学习它的实现原理对我们有很大的帮助。


二、为什么需要空间配置器

前面在模拟实现 vector、list、map、unordered_map 等容器时,所有需要空间的地方都是通过 new 申请的,虽然代码可以正常运行,但是有以下不足之处:

  • 空间申请与释放需要用户自己管理,容易造成内存泄漏。
  • 频繁向系统申请小块内存块,容易造成内存碎片
  • 频繁向系统申请小块内存,影响程序运行效率
  • 直接使用 malloc 与 new 进行申请,每块空间前有额外空间浪费
  • 申请空间失败怎么应对。
  • 代码结构比较混乱,代码复用率不高。
  • 未考虑线程安全问题。

因此需要设计一块高效的内存管理机制。


三、SGI-STL空间配置器实现原理

以上提到的几点不足之处,最主要还是:频繁向系统申请小块内存造成的。那什么才算是小块内

存?SGI-STL 以 128 作为小块内存与大块内存的分界线,将空间配置器其分为两级结构,一级空间 配置器处理大块内存,二级空间配置器处理小块内存


1、一级空间配置器

一级空间配置器原理非常简单,直接对 malloc 与 free 进行了封装,并增加了 C++ 中 set_new_handle 思想。

template <int inst>
class __malloc_alloc_template
{
private:
    static void *oom_malloc(size_t);
public:
// 对malloc的封装
    static void * allocate(size_t n)
    {
        // 申请空间成功,直接返回,失败交由oom_malloc处理
        void *result = malloc(n);
        if (0 == result) 
            result = oom_malloc(n);
        return result;
    }
    // 对free的封装
    static void deallocate(void *p, size_t /* n */)
    { free(p);}
 
    // 模拟set_new_handle
    // 该函数的参数为函数指针,返回值类型也为函数指针
    // void (*   set_malloc_handler( void (*f)() ) )()
    static void (* set_malloc_handler(void (*f)()))()
    {
        void (* old)() = __malloc_alloc_oom_handler;
        __malloc_alloc_oom_handler = f;
        return(old);
    }
};
 
// malloc申请空间失败时代用该函数
template <int inst>
void * __malloc_alloc_template<inst>::oom_malloc(size_t n)
{
    void (* my_malloc_handler)();
    void *result;
    for (;;) 
    {
        // 检测用户是否设置空间不足应对措施,如果没有设置,抛异常,模式new的方式
        my_malloc_handler = __malloc_alloc_oom_handler;
        if (0 == my_malloc_handler)
        {
            __THROW_BAD_ALLOC;
        }
   
        // 如果设置,执行用户提供的空间不足应对措施
        (*my_malloc_handler)();
   
        // 继续申请空间,可能就会申请成功
        result = malloc(n);
        if (result)
            return(result);
    }
}
 
typedef __malloc_alloc_template<0> malloc_alloc;

2、二级空间配置器

二级空间配置器 专门负责处理 小于 128 字节 的小块内存。如何才能提升小块内存的申请与释放的

方式呢?

SGI-STL 采用了内存池的技术来提高申请空间的速度以及减少额外空间的浪费,采用 哈希桶 的方式来提高用户获取空间的速度与高效管理


(1)内存池

内存池 就是:先申请一块比较大的内存块已做备用,当需要内存时,直接到内存池中去,当池中空间不够时,再向内存中去取,当用户不用时,直接还回内存池即可。避免了频繁向系统申请小块内存所造成的效率低、内存碎片以及额外浪费的问题。

  1. 当用户需要空间时,能否直接从内存池中大块空间中直接截取?为什么?
  2. 对用户归还的空间能否直接拼接在大块内存前?
  3. 对用户归还的空间如何进行管理?
  4. 不断切割会有什么后果?

(2)SGI-STL中二级空间配置器设计

SGI-STL中的二级空间配置器使用了内存池技术,但没有采用链表的方式对用户已经归还的空间进

行管理(因为用户申请空间时在查找合适的小块内存时效率比较低),而是采用了哈希桶的方式进行 管理。那是否需要 128 桶个空间来管理用户已经归还的内存块呢?

答案是不需要,因为用户申请 的空间基本都是 4 的整数倍,其他大小的空间几乎很少用到。因此:SGI-STL 将用户申请的内存块 向上对齐到了 8 的整数倍(请思考为什么是 8 的整数倍,而不是 4)。


(3)SGI-STL二级空间配置器之空间申请
a. 前期的准备
// 去掉代码中繁琐的部分
template <int inst>
class __default_alloc_template
{
private:
    enum {__ALIGN = 8}; // 如果用户所需内存不是8的整数倍,向上对齐到8的整数倍
    enum {__MAX_BYTES = 128}; // 大小内存块的分界线
    enum {__NFREELISTS = __MAX_BYTES/__ALIGN}; // 采用哈希桶保存小块内存时所需桶的个数
    
   // 如果用户所需内存块不是8的整数倍,向上对齐到8的整数倍
   static size_t ROUND_UP(size_t bytes)
   {
       return (((bytes) + __ALIGN-1) & ~(__ALIGN - 1));
   }
  
private:
    // 用联合体来维护链表结构——可以思考下此处为什么没有使用结构体
    union obj
    {
        union obj * free_list_link;
        char client_data[1]; /* The client sees this. */
    };
    
private:
    static obj *  free_list[__NFREELISTS]; 
  
    // 哈希函数,根据用户提供字节数找到对应的桶号
    static  size_t FREELIST_INDEX(size_t bytes)
    {
        return (((bytes) + __ALIGN-1)/__ALIGN - 1);
    }
    
    // start_free与end_free用来标记内存池中大块内存的起始与末尾位置
    static char *start_free;
    static char *end_free;
    
    // 用来记录该空间配置器已经想系统索要了多少的内存块
    static size_t heap_size;
    
    // ...
};

b. 申请空间

// 函数功能:向空间配置器索要空间
// 参数n: 用户所需空间字节数
// 返回值:返回空间的首地址
static void * allocate(size_t n)
{
    obj * __VOLATILE * my_free_list;
    obj * __RESTRICT result;
    // 检测用户所需空间释放超过128(即是否为小块内存)
    if (n > (size_t) __MAX_BYTES) 
    {
        // 不是小块内存交由一级空间配置器处理
        return (malloc_alloc::allocate(n));
    }
    
    // 根据用户所需字节找到对应的桶号
    my_free_list = free_list + FREELIST_INDEX(n);
    result = *my_free_list;
    
    // 如果该桶中没有内存块时,向该桶中补充空间
    if (result == 0)
    {
        // 将n向上对齐到8的整数被,保证向桶中补充内存块时,内存块一定是8的整数倍
        void *r = refill(ROUND_UP(n));
        return r;
    }
    
    // 维护桶中剩余内存块的链式关系
    *my_free_list = result -> free_list_link;
    return (result);
};

c. 填充内存块

// 函数功能:向哈希桶中补充空间
// 参数n:小块内存字节数
// 返回值:首个小块内存的首地址
template <int inst>
void* __default_alloc_template<inst>::refill(size_t n)
{
    // 一次性向内存池索要20个n字节的小块内存
    int nobjs = 20;
    char * chunk = chunk_alloc(n, nobjs);
    
    obj ** my_free_list;
    obj *result;
    obj *current_obj, *next_obj;
    int i;
    // 如果只要了一块,直接返回给用户使用
    if (1 == nobjs) 
        return(chunk);
    
    // 找到对应的桶号
    my_free_list = free_list + FREELIST_INDEX(n);
    // 将第一块返回值用户,其他块连接在对应的桶中
    // 注:此处代码逻辑比较简单,但标准库实现稍微有点复杂,可以尝试自己实现
      result = (obj *)chunk;
      *my_free_list = next_obj = (obj *)(chunk + n);
      for (i = 1; ; i++) 
     {
        current_obj = next_obj;
        next_obj = (obj *)((char *)next_obj + n);
        if (nobjs - 1 == i) 
       {
            current_obj -> free_list_link = 0;
            break;
       } 
        else
       {
            current_obj -> free_list_link = next_obj;
       }
    }
    return(result);
}

d. 向内存池中索要空间
template <int inst>
char* __default_alloc_template<inst>::chunk_alloc(size_t size, int&
nobjs)
{
    // 计算nobjs个size字节内存块的总大小以及内存池中剩余空间总大小
    char * result;
    size_t total_bytes = size * nobjs;
    size_t bytes_left = end_free - start_free;
    // 如果内存池可以提供total_bytes字节,返回
    if (bytes_left >= total_bytes) 
    {
        result = start_free;
        start_free += total_bytes;
        return(result);
    } 
    else if (bytes_left >= size)
    {
        // nobjs块无法提供,但是至少可以提供1块size字节内存块,提供后返回
        nobjs = bytes_left/size;
        total_bytes = size * nobjs;
        result = start_free;
        start_free += total_bytes;
        return(result);
    } 
    else
    {
        // 内存池空间不足,连一块小块村内都不能提供
        // 向系统堆求助,往内存池中补充空间
        // 计算向内存中补充空间大小:本次空间总大小两倍 + 向系统申请总大小/16
        size_t bytes_to_get = 2 * total_bytes + ROUND_UP(heap_size >> 4);
        
        // 如果内存池有剩余空间(该空间一定是8的整数倍),将该空间挂到对应哈希桶中
        if (bytes_left > 0) 
        {
            // 找对用哈希桶,将剩余空间挂在其上
            obj ** my_free_list = free_list + FREELIST_INDEX(bytes_left);
           ((obj *)start_free) -> free_list_link = *my_free_list;
            *my_ree_list = (obj *)start_free;
        }
        
        // 通过系统堆向内存池补充空间,如果补充成功,递归继续分配
        start_free = (char *)malloc(bytes_to_get);
        if (0 == start_free) 
        {
            // 通过系统堆补充空间失败,在哈希桶中找是否有没有使用的较大的内存块
            int i;
            obj ** my_free_list, *p;
            for (i = size; i <= __MAX_BYTES; i += __ALIGN)
            {
                my_free_list = free_list + FREELIST_INDEX(i);
                p = *my_free_list;
                
                // 如果有,将该内存块补充进内存池,递归继续分配
                if (0 != p)
                {
                    *my_free_list = p -> free_list_link;
                    start_free = (char *)p;
                    end_free = start_free + i;
                    return(chunk_alloc(size, nobjs));
                }
            }
            
            // 山穷水尽,只能向一级空间配置器求助
            // 注意:此处一定要将end_free置空,因为一级空间配置器一旦抛异常就会出问题
            end_free = 0;
            start_free = (char *)malloc_alloc::allocate(bytes_to_get);
        }
        
        // 通过系统堆向内存池补充空间成功,更新信息并继续分配
        heap_size += bytes_to_get;
        end_free = start_free + bytes_to_get;
        return(chunk_alloc(size, nobjs));
    }
}

(4)SGI-STL二级空间配置器之空间回收

// 函数功能:用户将空间归还给空间配置器
// 参数:p空间首地址   n空间总大小
static void deallocate(void *p, size_t n)
{
    obj *q = (obj *)p;
    obj ** my_free_list;
 
    // 如果空间不是小块内存,交给一级空间配置器回收
    if (n > (size_t) __MAX_BYTES)
    {
        malloc_alloc::deallocate(p, n);
        return;
    }
 
    // 找到对应的哈希桶,将内存挂在哈希桶中
    my_free_list = free_list + FREELIST_INDEX(n);
    q -> free_list_link = *my_free_list;
    *my_free_list = q;
}

3、空间配置器的默认选择

SGI-STL 默认使用一级还是二级空间配置器,通过 USE_MALLOC 宏进行控制:

#ifdef __USE_MALLOC
 
typedef malloc_alloc alloc;
typedef malloc_alloc single_client_alloc;
 
#else
 
    // 二级空间配置器定义
 
#endif

在 SGI_STL 中该宏没有定义,因此:默认情况下 SGI_STL 使用二级空间配置器。


4、空间配置器的再次封装

在 C++ 中,用户所需空间可能是任意类型的,有单个对象空间,有连续空间,每次让用户自己计算所需空间总大小不是很友好,因此 SGI-STL 将空间配置器重新再封装了一层:

// T: 元素类型
// Alloc: 空间配置器
// 注意:该类只负责申请与归还对象的空间,不否则空间中对象的构造与析构
template<class T, class Alloc>
class simple_alloc
{
public:
    // 申请n个T类型对象大小的空间
    static T *allocate(size_t n)
    { 
        return 0 == n? 0 : (T*) Alloc::allocate(n * sizeof (T)); 
    }
 
    // 申请一个T类型对象大小的空间
    static T *allocate(void)
    { 
        return (T*) Alloc::allocate(sizeof (T));
    }
 
    // 释放n个T类型对象大小的空间
    static void deallocate(T *p, size_t n)
    { 
        if (0 != n) 
        Alloc::deallocate(p, n * sizeof (T));
    }
 
    // 释放一个T类型对象大小的空间
    static void deallocate(T *p)
    { 
        Alloc::deallocate(p, sizeof (T)); 
    }
};

5、对象的构造与释放

一切为了效率考虑,SGI-STL 决定将空间申请释放和对象的构造析构两个过程分离开,因为有些对

象的构造不需要调用析构函数,销毁时不需要调用析构函数,将该过程分离开可以提高程序的性

能:

// 归还空间时,先先调用该函数将对象中资源清理掉
template <class T>
inline void destroy(T* pointer)
{
    pointer->~T();
}
 
// 空间申请好后调用该函数:利用placement-new完成对象的构造
template <class T1, class T2>
inline void construct(T1* p, const T2& value) 
{
    new (p) T1(value);
}

注意

  1. 在释放对象时,需要根据对象的类型确定是否调用析构函数(类型萃取)。
  2. 对象的类型可以通过迭代器获萃取到。

以上两步在实现时稍微有点复杂,感兴趣可参考 STL 源码。


四、与容器结合

本例子给出 list 与空间配置器是如何结合的,大家参考可给出 vector 的实现。

template <class T, class Alloc = alloc>
class list
{
    // ...
    // 实例化空间配置器
    typedef simple_alloc<list_node, Alloc> list_node_allocator;
    // ...
 
protected:
    link_type get_node()
    {
        // 调用空间配置器接口先申请节点的空间
        return list_node_allocator::allocate(); 
    }
 
    // 将节点归还给空间配置器
    void put_node(link_type p) 
    {
        list_node_allocator::deallocate(p);
    }
 
    // 创建节点:1. 申请空间 2. 完成节点构造
    link_type create_node(const T& x)
    {
        link_type p = get_node();
        construct(&p->data, x);
        return p;
    }
 
    // 销毁节点: 1. 调用析构函数清理节点中资源 2. 将节点空间归还给空间配置器
    void destroy_node(link_type p)
    {
        destroy(&p->data);
        put_node(p);
    }
 
    // ...
    iterator insert(iterator position, const T& x)
    {
        link_type tmp = create_node(x);
        tmp->next = position.node;
        tmp->prev = position.node->prev;
        (link_type(position.node->prev))->next = tmp;
        position.node->prev = tmp;
        return tmp;
    }
 
    iterator erase(iterator position) 
    {
        link_type next_node = link_type(position.node->next);
        link_type prev_node = link_type(position.node->prev);
        prev_node->next = next_node;
        next_node->prev = prev_node;
        destroy_node(position.node);
        return iterator(next_node);
    }
 
    // ...
};


相关文章
|
1月前
|
缓存 算法 程序员
C++STL底层原理:探秘标准模板库的内部机制
🌟蒋星熠Jaxonic带你深入STL底层:从容器内存管理到红黑树、哈希表,剖析迭代器、算法与分配器核心机制,揭秘C++标准库的高效设计哲学与性能优化实践。
C++STL底层原理:探秘标准模板库的内部机制
|
8月前
|
编译器 C++ 容器
【c++丨STL】基于红黑树模拟实现set和map(附源码)
本文基于红黑树的实现,模拟了STL中的`set`和`map`容器。通过封装同一棵红黑树并进行适配修改,实现了两种容器的功能。主要步骤包括:1) 修改红黑树节点结构以支持不同数据类型;2) 使用仿函数适配键值比较逻辑;3) 实现双向迭代器支持遍历操作;4) 封装`insert`、`find`等接口,并为`map`实现`operator[]`。最终,通过测试代码验证了功能的正确性。此实现减少了代码冗余,展示了模板与仿函数的强大灵活性。
200 2
|
8月前
|
存储 算法 C++
【c++丨STL】map/multimap的使用
本文详细介绍了STL关联式容器中的`map`和`multimap`的使用方法。`map`基于红黑树实现,内部元素按键自动升序排列,存储键值对,支持通过键访问或修改值;而`multimap`允许存在重复键。文章从构造函数、迭代器、容量接口、元素访问接口、增删操作到其他操作接口全面解析了`map`的功能,并通过实例演示了如何用`map`统计字符串数组中各元素的出现次数。最后对比了`map`与`set`的区别,强调了`map`在处理键值关系时的优势。
411 73
|
9月前
|
存储 缓存 C++
C++ 容器全面剖析:掌握 STL 的奥秘,从入门到高效编程
C++ 标准模板库(STL)提供了一组功能强大的容器类,用于存储和操作数据集合。不同的容器具有独特的特性和应用场景,因此选择合适的容器对于程序的性能和代码的可读性至关重要。对于刚接触 C++ 的开发者来说,了解这些容器的基础知识以及它们的特点是迈向高效编程的重要一步。本文将详细介绍 C++ 常用的容器,包括序列容器(`std::vector`、`std::array`、`std::list`、`std::deque`)、关联容器(`std::set`、`std::map`)和无序容器(`std::unordered_set`、`std::unordered_map`),全面解析它们的特点、用法
C++ 容器全面剖析:掌握 STL 的奥秘,从入门到高效编程
|
8月前
|
存储 算法 C++
【c++丨STL】set/multiset的使用
本文深入解析了STL中的`set`和`multiset`容器,二者均为关联式容器,底层基于红黑树实现。`set`支持唯一性元素存储并自动排序,适用于高效查找场景;`multiset`允许重复元素。两者均具备O(logN)的插入、删除与查找复杂度。文章详细介绍了构造函数、迭代器、容量接口、增删操作(如`insert`、`erase`)、查找统计(如`find`、`count`)及`multiset`特有的区间操作(如`lower_bound`、`upper_bound`、`equal_range`)。最后预告了`map`容器的学习,其作为键值对存储的关联式容器,同样基于红黑树,具有高效操作特性。
319 3
|
9月前
|
存储 算法 C++
【c++丨STL】priority_queue(优先级队列)的使用与模拟实现
本文介绍了STL中的容器适配器`priority_queue`(优先级队列)。`priority_queue`根据严格的弱排序标准设计,确保其第一个元素始终是最大元素。它底层使用堆结构实现,支持大堆和小堆,默认为大堆。常用操作包括构造函数、`empty`、`size`、`top`、`push`、`pop`和`swap`等。我们还模拟实现了`priority_queue`,通过仿函数控制堆的类型,并调用封装容器的接口实现功能。最后,感谢大家的支持与关注。
473 1
|
9月前
|
存储 算法 C++
深入浅出 C++ STL:解锁高效编程的秘密武器
C++ 标准模板库(STL)是现代 C++ 的核心部分之一,为开发者提供了丰富的预定义数据结构和算法,极大地提升了编程效率和代码的可读性。理解和掌握 STL 对于 C++ 开发者来说至关重要。以下是对 STL 的详细介绍,涵盖其基础知识、发展历史、核心组件、重要性和学习方法。
|
9月前
|
编译器 C++ 开发者
【C++篇】深度解析类与对象(下)
在上一篇博客中,我们学习了C++的基础类与对象概念,包括类的定义、对象的使用和构造函数的作用。在这一篇,我们将深入探讨C++类的一些重要特性,如构造函数的高级用法、类型转换、static成员、友元、内部类、匿名对象,以及对象拷贝优化等。这些内容可以帮助你更好地理解和应用面向对象编程的核心理念,提升代码的健壮性、灵活性和可维护性。
|
5月前
|
人工智能 机器人 编译器
c++模板初阶----函数模板与类模板
class 类模板名private://类内成员声明class Apublic:A(T val):a(val){}private:T a;return 0;运行结果:注意:类模板中的成员函数若是放在类外定义时,需要加模板参数列表。return 0;
119 0
|
5月前
|
存储 编译器 程序员
c++的类(附含explicit关键字,友元,内部类)
本文介绍了C++中类的核心概念与用法,涵盖封装、继承、多态三大特性。重点讲解了类的定义(`class`与`struct`)、访问限定符(`private`、`public`、`protected`)、类的作用域及成员函数的声明与定义分离。同时深入探讨了类的大小计算、`this`指针、默认成员函数(构造函数、析构函数、拷贝构造、赋值重载)以及运算符重载等内容。 文章还详细分析了`explicit`关键字的作用、静态成员(变量与函数)、友元(友元函数与友元类)的概念及其使用场景,并简要介绍了内部类的特性。
203 0