GPDB-内核特性-资源组内存管理机制-1

GPDB-内核特性-资源组内存管理机制-1GreenPlum有两种资源管理方法：资源队列和资源组。前期我们分析过资源队列内存相关我问题gp_vmem_protect_limit如何实现，本文介绍资源组关于内存的管理机制。

1、简介

资源组使GP的一种资源管理方式，能够细粒度对每个用户的资源使用进行限制，支持通过SQL语句的方式进行配置。支持三种资源限制：并发、CPU和内存。超级用户通过SQL语句在数据库内定义多个资源组，并设置每个资源组的限制。每个资源组可以关联一个或多个数据库用户，每个数据库用户只能属于单个资源组。资源组支持的资源限制的属性：1）concurrency：资源组中允许的最大并发事务数，包括活动和空闲事务2）cpu_rate_limit:该资源组可以使用的CPU资源百分比3）cpuset：该资源组保留的CPU核数，具体使用哪几个CPU逻辑核4）memory_limit：资源组可用的内存资源百分比5）memory_shared_quota：该资源组内的事务之间共享的内存资源百分比6）memory_spill_ratio：内存密集型事务的内存使用阈值，超过该阈值，将溢出到磁盘。7）memory_auditor：资源组使用的内存auditor，默认vmstacker：分配资源组到角色；cgroup：分配资源组到external component。资源组通过master上的并发锁实现对并发的限制，通过cgroup实现对CPU的限制，支持内存基于vmtracker和cgroup进行两种方式的限制。

2、资源组的使用

创建资源组：

CREATE RESOURCE GROUP rgroup1 WITH (CPU_RATE_LIMIT=20, MEMORY_LIMIT=25, MEMORY_SHARED_QUOTA=60,MEMORY_SPILL_RATIO=20);

数据库包含2个默认的资源组：admin_group和default_group。启用资源组后，未明确分配资源组的任何角色分配到default_group。SUPERUSER分配admin_group。资源组分配给角色：使用CREATE ROLE或ALTER ROLE命令将资源组分配给角色：

ALTER ROLE yzs RESOURCE GROUP yzsgroup;
CREATE ROLE yzs RESOURCE GROUP yzsgroup;

从角色中删除资源组并分配到默认组：

ALTER ROLE yzs RESOURCE GROUP NONE;

修改资源组配置：

ALTER RESOURCE GROUP yzs SET MEMORY_LIMIT 30;

删除资源组：

DROP RESOURCE GROUP yzs;

资源组监控：资源组配置：

SELECT * FROM gp_toolkit.gp_resgroup_config;

资源组使用情况：

SELECT * FROM gp_toolkit.gp_resgroup_status;

每个segment上资源组使用情况：

SELECT * FROM gp_toolkit.gp_resgroup_status_per_segment;

每个host主机上资源组使用情况：

SELECT * FROM gp_toolkit.gp_resgroup_status_per_host;

3、资源组监控项含义

memory_used = memory_quota_used + memory_shared_usedavailable = memory_quota_granted(slots实际总配额)+ memory_shared_granted(共享区部分实际总配额)- memory_usedmemory_quota_granted = memory_quota_used + memory_quota_availablememory_shared_granted = memory_shared_used + memory_shared_available

4、资源组内存管理实现分析

想要了解资源组如何实现的，首先需要理解资源组的数据结构。资源组管理器由ResGroupControl进行管理。由函数ResGroupControlInit进行初始化，调用堆栈：

CreateSharedMemoryAndSemaphores->ResManagerShmemInit->ResGroupControlInit

该函数中也可以看出来，pResGroupControl资源组管理器通过ShmemInitStruct函数在共享内存中申请，所有进程共享。ResGroupControl中比较重要的成员变量有：1）totalChunks   Segment上总的chunk个数。2）chunkSizeInBits   一个chunk的大小：#define BITS_IN_MB 20，也就是1MB3）htbl  资源组的hash表。所有资源组都在该hash表中。可以根据资源组OID通过函数groupHashFind在该hash表中找到对应的资源组4）slots[]数组  资源组管理器中的slot池。数组大小为RESGROUP_MAX_SLOTS，即MaxConnections最大连接数。该slots数组的空闲slot由链表进行管理，该链表头为freeSlot，初始时为slot[MaxConnections]，然后依次通过slot->next将所有slots管理起来，即初始时所有的slot都是空闲的。5）freeChunks  空闲chunk个数，初始时等于totalChunks6）groups[]数组  资源组池。数组大小MaxResourceGroups，即100。也就是最大能建立100个资源组。Hash表中的ResGroupHashEntry的index即为该数组下标。

创建资源组的时候，顺序扫描该资源组池，找到一个空闲的group；然后将该资源组OID作为key插入hash表，插入hash表的entry的index为groups[]数组下标，这样将hash表和资源组池关联起来。Slot结构ResGroupSlotData的成员这个和资源组并发限制有关。每个并发，即每个事务对应一个slot。重要成员有：1）groupId：slot所属资源组的OID2）ResGroupData* group：该slot所属的资源组3）memQuota：该slot的内存配额，真实分配的4）memUsage：该slot已使用的chunk数5）nProcs：该slot上的进程数6）caps：所属资源组的属性资源组结构ResGroupData的成员1）groupId：资源组的OID2）memExpected:资源组定义的内存配额3）memQuotaGranted：资源组slots实际总配额4）memSharedGranted：资源组内存中shared共享部分的实际配额5）memQuotaUsed：当前资源组中正使用的所有slots的总chunk数6）memSharedUsage：当前资源组中shared共享部分使用的chunk数7）groupMemOps：资源组使用的auditor8）caps：所属资源组的属性，包括并发限制、CPU限制、内存限制等。其中memLimit表示定义使用总量的百分比。memSharedQuota表示该资源组共享区占用该资源组内存的百分比。memAuditor表示该资源组需要使用哪个auditor

5、总结

资源组内存分配如上图所示。

参考

https://cn.greenplum.org/wp-content/uploads/2022/03/Greenplum%E4%B8%AD%E7%9A%84%E8%B5%84%E6%BA%90%E7%AE%A1%E7%90%86%E7%AD%96%E7%95%A5.pdfhttps://www.modb.pro/db/477684