【赵渝强老师】PostgreSQL的数据预热扩展pg_prewarm

本文涉及的产品
RDS AI 助手,专业版
PolarDB Agent Express,2核4GB
云数据库 PolarDB MySQL 版,列存表分析加速 4核8GB
简介: 本文详解PostgreSQL扩展pg_prewarm,支持手工与自动两种数据预热方式:手工调用pg_prewarm()函数将表数据预加载至缓冲区;自动模式通过后台进程周期记录并重启时恢复热点数据,显著提升查询性能。

b445.png

PostgreSQL从开始就设计成可以扩展的。因此,加载到数据库的扩展可以像它们被打包在数据库里一样。PostgreSQL源代码的contrib/目录里面有大量这种扩展。该目录下的README文件包含PostgreSQL扩展的相应帮助信息。它们包含转换工具、全文索引、XML工具、额外的数据类型和索引方法等等。PostgreSQL也支持单独开发额外的扩展。


这里重点介绍一下数据预热扩展pg_prewarm。pg_prewarm扩展可以把关系数据预存入操作系统缓冲区或者PostgreSQL缓冲区,从而提高PostgreSQL数据库读取数据的效率。PostgreSQL数据库可以通过两种不同的方式进行数据预热,即:数据的手工预热和数据的自动预热。视频讲解如下:


一、 安装pg_prewarm扩展


在使用数据预热功能之前需要先按照pg_prewarm扩展,下面是具体的安装步骤。

(1)进入PostgreSQL源码目录下的contrib/pg_prewarm目录。

cd postgresql-15.3/contrib/pg_prewarm/

(2)编译并安装pg_prewarm。

make 
make install

(3)修改postgresql.conf参数文件中的shared_preload_libraries参数。

shared_preload_libraries = 'file_fdw,postgres_fdw,pg_prewarm'

(4)重启PostgreSQL数据库服务器。

(5)创建pg_prewarm扩展。

postgres=# create extension pg_prewarm;

(6)查看pg_prewarm扩展的详细信息。

postgres=# \dx+ pg_prewarm 
# 输出的信息如下:
           Objects in extension "pg_prewarm"
                  Object description                   
-------------------------------------------------------
 function autoprewarm_dump_now()
 function autoprewarm_start_worker()
 function pg_prewarm(regclass,text,text,bigint,bigint)
(3 rows)
# 从这里的输出信息可以看出,pg_prewarm扩展自动创建了三个与数据预热相关的函数。


二、 数据的手工预热

数据的手工预热主要是通过函数pg_prewarm()完成,下面展示了该函数的申明。

pg_prewarm(
 regclass, 
 mode text default 'buffer', 
 fork text default 'main',
 first_block int8 default null,
 last_block int8 default null) 
RETURNS int8
# 这里最重要的参数就是第一个参数regclass,它表示要进行预热的表名,函数的返回值是预热块的数量。


下面通过一个具体的示例来演示如何使用pg_prewarm()函数。

(1)创建一张表用于进行测试。

postgres=# create table prewarmtable(pid int,pname varchar(20));

(2)往表中插入5000万条测试数据。

postgres=# insert into prewarmtable select n,'name'||n from generate_series(1,50000000) n;

(3)执行一条简单的查询语句,并查看相应的执行计划。

postgres=# explain (analyze,buffers,timing) select * from prewarmtable;
# 输出的信息如下:
                                  QUERY PLAN     
--------------------------------------------------------
 Seq Scan on prewarmtable  
 (cost=0.00..808940.56 rows=50010856 width=16) 
 (actual time=0.035..5339.230 rows=50000000 loops=1)
   Buffers: shared read=308832
 Planning:
   Buffers: shared hit=14 read=7
 Planning Time: 0.347 ms
 Execution Time: 8385.500 ms
(6 rows)
# 从输出的结果可以看出,此时从磁盘上读取了308832数据块。

(4)再次执行同样的查询语句,并查看相应的执行计划。

postgres=# explain (analyze,buffers,timing) select * from prewarmtable;
# 输出的信息如下:
                                  QUERY PLAN     
--------------------------------------------------------
 Seq Scan on prewarmtable  
 (cost=0.00..808940.56 rows=50010856 width=16) 
 (actual time=0.035..5304.973 rows=50000000 loops=1)
   Buffers: shared hit=32 read=308800
 Planning Time: 0.030 ms
 Execution Time: 8351.421 ms
(4 rows)
# 从输出的结果可以看出,第二次读取数据时有32个数据块被执行了缓存。


(5)重启PostgreSQL数据库服务器,以达到清空缓存的目的。

(6)使用pg_prewarm()函数预热表prewarmtable的数据。

postgres=# select pg_prewarm('prewarmtable');
 pg_prewarm 
------------
     308832
(1 row)

(7)再次执行同样的查询语句,并查看相应的执行计划。

postgres=# explain (analyze,buffers,timing) select * from prewarmtable;
# 输出的信息如下:
                                  QUERY PLAN     
--------------------------------------------------------
 Seq Scan on prewarmtable  
 (cost=0.00..808940.56 rows=50010856 width=16) 
 (actual time=0.017..5470.853 rows=50000000 loops=1)
   Buffers: shared hit=16308 read=292524
 Planning:
   Buffers: shared hit=3 read=3
 Planning Time: 0.120 ms
 Execution Time: 8620.384 ms
(6 rows)
# 从输出的结果可以看出,由于使用了pg_prewarm()函数预热数据
# 此时读取数据时有16308个数据块被执行了缓存。


三、 数据的自动预热


当pg_prewarm扩展安装配置成功后,PostgreSQL数据库服务器会周期性地把共享内存中的内容记录在一个名为autoprewarm.blocks的文件中,并在数据库服务器重新启动时读取该文件以达到数据预热的目的。文件autoprewarm.blocks默认保存在$PGDATA目录下,如下所示。

[postgres@mydb pgsql]$ pwd
/home/postgres/training/pgsql
[postgres@mydb pgsql]$ ll data/autoprewarm.blocks 
-rw------- 1 postgres postgres 425037 ...  data/autoprewarm.blocks


下面通过一个简单的测试来验证重启数据库服务器后,数据是否会自动进行预热。

(1)重启PostgreSQL数据库服务器,以达到清空缓存的目的。

(2)执行一条简单的查询语句,并查看相应的执行计划。

postgres=# explain (analyze,buffers,timing) select * from prewarmtable;
# 输出的信息如下:
                                  QUERY PLAN     
--------------------------------------------------------
 Seq Scan on prewarmtable  
 (cost=0.00..808940.56 rows=50010856 width=16) 
 (actual time=0.026..8544.466 rows=50000000 loops=1)
   Buffers: shared hit=16191 read=292641
 Planning:
   Buffers: shared hit=18 read=3
 Planning Time: 0.461 ms
 Execution Time: 13426.254 ms
(6 rows)
# 从输出的结果可以看出
# 此时读取数据时有16191个数据块被执行了自动预热加载到了缓存中。


在默认情况下,pg_prewarm扩展会每隔5分钟将内存中的数据写入文件autoprewarm.blocks中,这是由参数pg_prewarm.autoprewarm_interval决定,如下所示。

postgres=# show pg_prewarm.autoprewarm_interval ;
# 输出的信息如下:
 pg_prewarm.autoprewarm_interval 
---------------------------------
 5min
(1 row)


当重启PostgreSQL数据库服务器时,通过后台进程autoprewarm master将预热数据文件autoprewarm.blocks重新加载到内存中。通过使用ps命令可以看到该进程的信息,如下所示:

[postgres@mydb pgsql]$ ps -ef|grep postgres:
postgres 107174 107172  ...  postgres: checkpointer 
postgres 107175 107172  ...  postgres: background writer 
postgres 107176 107172  ...  postgres: walwriter 
postgres 107177 107172  ...  postgres: autovacuum launcher 
postgres 107178 107172  ...  postgres: archiver 
postgres 107179 107172  ...  postgres: stats collector 
postgres 107180 107172  ...  postgres: autoprewarm master 
postgres 107181 107172  ...  postgres: logical replication launcher 
postgres 107186 107172  ...  postgres: postgres postgres [local] idle
相关文章
|
存储 C++
基于Qt的简易文件压缩与解压缩工具设计与实现
基于Qt的简易文件压缩与解压缩工具设计与实现
741 1
|
存储 缓存 Java
仅花200行代码,如何将60万行的RocksDB改造成协程
采用少量手动修改+自动代码转换的方式,将大型多线程程序改造成协程。在某些重IO、高并发的场景中,帮助业务取得了性能翻倍的效果。
56816 3
仅花200行代码,如何将60万行的RocksDB改造成协程
|
网络协议 Unix Linux
有了协程库,开发DPDK应用程序第一次可以这么简单
使用PhotonLibOS协程库,以多执行单元并发的代码模型代替原先的异步回调模型,简化DPDK应用程序的开发。同时使用echo server验证了 用户态TCP/IP协议栈+轮询模式驱动 对比 内核原生协议栈+中断模式驱动 的性能优势
10894 0
有了协程库,开发DPDK应用程序第一次可以这么简单
|
存储 监控 安全
【深入探究C++日志库写入策略】glog、log4cplus与spdlog的写入策略比较
【深入探究C++日志库写入策略】glog、log4cplus与spdlog的写入策略比较
1269 0
|
20天前
|
人工智能 缓存 架构师
DeerFlow 2.0 的 lead_agent 任务总调度 架构设计与实现解析
DeerFlow 2.0 的 lead_agent 任务总调度 架构设计与实现解析
DeerFlow 2.0 的 lead_agent 任务总调度 架构设计与实现解析
|
19天前
|
机器学习/深度学习 传感器 监控
火焰与烟雾目标检测数据集分享(适用于YOLO系列深度学习分类检测任务)
本数据集含13,500张高质量火焰与烟雾图像,覆盖室内外多场景、多光照及复杂背景,采用YOLO格式标注(2类),已划分训练/验证/测试集,专为YOLOv5/v8/v10等模型训练优化,助力火灾智能预警。
225 3
|
20天前
|
安全 API 开发者
语雀如何导出别人的知识库!超实用教程!支持导出markdown/html/word/pdf等超多格式!一键解析,批量下载!保留大纲的层级结构!一键克隆!原格式
语雀重度用户亲测推荐:「语雀文档批量下载克隆助手」浏览器插件。一键备份知识库、小记、表格、白板等全类型内容,完美保留目录结构与图片附件;支持导出MD/HTML/Word/PDF,并可克隆公开库至个人账号。100%本地运行,不传数据、无需Token或超级会员,安全可靠。(239字)
|
20天前
|
人工智能 自然语言处理 安全
OpenClaw v2.3.12 保姆级安装教程,本地自动化办公必备
OpenClaw(小龙虾)是2026年热门开源本地AI智能体,支持Win11一键部署,无需联网、付费或编程基础。自动执行文件整理、浏览器操控等任务,数据全留本地,隐私安全可靠。(239字)
|
20天前
|
人工智能 监控 算法
AI智能体的开发及上线
本文详解AI智能体从0到1的标准化开发与合规上线闭环:涵盖架构设计(大脑/规划/记忆/工具/感知)、低代码/代码级开发路径、RAG知识增强、算法备案、内容安全与数据脱敏等2026最新监管要求,助力高效、合规落地。
|
20天前
|
人工智能 自然语言处理 安全
OpenClaw 小龙虾 AI 从入门到上手,零代码构建自动化数字员工
OpenClaw(“小龙虾”)是2026年爆火的开源AI智能体,GitHub星标超28万。支持本地运行、零代码、一键部署,10分钟即可在Windows上搭建专属“数字员工”,自动执行文件整理、浏览器操作、邮件发送等任务,全程可视化,新手友好。(239字)