【赵渝强老师】PostgreSQL的数据预热扩展pg_prewarm

本文涉及的产品
PolarClaw,2核4GB
云数据库 PolarDB MySQL 版,列存表分析加速 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
简介: 本文详解PostgreSQL扩展pg_prewarm,支持手工与自动两种数据预热方式:手工调用pg_prewarm()函数将表数据预加载至缓冲区;自动模式通过后台进程周期记录并重启时恢复热点数据,显著提升查询性能。

b445.png

PostgreSQL从开始就设计成可以扩展的。因此,加载到数据库的扩展可以像它们被打包在数据库里一样。PostgreSQL源代码的contrib/目录里面有大量这种扩展。该目录下的README文件包含PostgreSQL扩展的相应帮助信息。它们包含转换工具、全文索引、XML工具、额外的数据类型和索引方法等等。PostgreSQL也支持单独开发额外的扩展。


这里重点介绍一下数据预热扩展pg_prewarm。pg_prewarm扩展可以把关系数据预存入操作系统缓冲区或者PostgreSQL缓冲区,从而提高PostgreSQL数据库读取数据的效率。PostgreSQL数据库可以通过两种不同的方式进行数据预热,即:数据的手工预热和数据的自动预热。视频讲解如下:


一、 安装pg_prewarm扩展


在使用数据预热功能之前需要先按照pg_prewarm扩展,下面是具体的安装步骤。

(1)进入PostgreSQL源码目录下的contrib/pg_prewarm目录。

cd postgresql-15.3/contrib/pg_prewarm/

(2)编译并安装pg_prewarm。

make 
make install

(3)修改postgresql.conf参数文件中的shared_preload_libraries参数。

shared_preload_libraries = 'file_fdw,postgres_fdw,pg_prewarm'

(4)重启PostgreSQL数据库服务器。

(5)创建pg_prewarm扩展。

postgres=# create extension pg_prewarm;

(6)查看pg_prewarm扩展的详细信息。

postgres=# \dx+ pg_prewarm 
# 输出的信息如下:
           Objects in extension "pg_prewarm"
                  Object description                   
-------------------------------------------------------
 function autoprewarm_dump_now()
 function autoprewarm_start_worker()
 function pg_prewarm(regclass,text,text,bigint,bigint)
(3 rows)
# 从这里的输出信息可以看出,pg_prewarm扩展自动创建了三个与数据预热相关的函数。


二、 数据的手工预热

数据的手工预热主要是通过函数pg_prewarm()完成,下面展示了该函数的申明。

pg_prewarm(
 regclass, 
 mode text default 'buffer', 
 fork text default 'main',
 first_block int8 default null,
 last_block int8 default null) 
RETURNS int8
# 这里最重要的参数就是第一个参数regclass,它表示要进行预热的表名,函数的返回值是预热块的数量。


下面通过一个具体的示例来演示如何使用pg_prewarm()函数。

(1)创建一张表用于进行测试。

postgres=# create table prewarmtable(pid int,pname varchar(20));

(2)往表中插入5000万条测试数据。

postgres=# insert into prewarmtable select n,'name'||n from generate_series(1,50000000) n;

(3)执行一条简单的查询语句,并查看相应的执行计划。

postgres=# explain (analyze,buffers,timing) select * from prewarmtable;
# 输出的信息如下:
                                  QUERY PLAN     
--------------------------------------------------------
 Seq Scan on prewarmtable  
 (cost=0.00..808940.56 rows=50010856 width=16) 
 (actual time=0.035..5339.230 rows=50000000 loops=1)
   Buffers: shared read=308832
 Planning:
   Buffers: shared hit=14 read=7
 Planning Time: 0.347 ms
 Execution Time: 8385.500 ms
(6 rows)
# 从输出的结果可以看出,此时从磁盘上读取了308832数据块。

(4)再次执行同样的查询语句,并查看相应的执行计划。

postgres=# explain (analyze,buffers,timing) select * from prewarmtable;
# 输出的信息如下:
                                  QUERY PLAN     
--------------------------------------------------------
 Seq Scan on prewarmtable  
 (cost=0.00..808940.56 rows=50010856 width=16) 
 (actual time=0.035..5304.973 rows=50000000 loops=1)
   Buffers: shared hit=32 read=308800
 Planning Time: 0.030 ms
 Execution Time: 8351.421 ms
(4 rows)
# 从输出的结果可以看出,第二次读取数据时有32个数据块被执行了缓存。


(5)重启PostgreSQL数据库服务器,以达到清空缓存的目的。

(6)使用pg_prewarm()函数预热表prewarmtable的数据。

postgres=# select pg_prewarm('prewarmtable');
 pg_prewarm 
------------
     308832
(1 row)

(7)再次执行同样的查询语句,并查看相应的执行计划。

postgres=# explain (analyze,buffers,timing) select * from prewarmtable;
# 输出的信息如下:
                                  QUERY PLAN     
--------------------------------------------------------
 Seq Scan on prewarmtable  
 (cost=0.00..808940.56 rows=50010856 width=16) 
 (actual time=0.017..5470.853 rows=50000000 loops=1)
   Buffers: shared hit=16308 read=292524
 Planning:
   Buffers: shared hit=3 read=3
 Planning Time: 0.120 ms
 Execution Time: 8620.384 ms
(6 rows)
# 从输出的结果可以看出,由于使用了pg_prewarm()函数预热数据
# 此时读取数据时有16308个数据块被执行了缓存。


三、 数据的自动预热


当pg_prewarm扩展安装配置成功后,PostgreSQL数据库服务器会周期性地把共享内存中的内容记录在一个名为autoprewarm.blocks的文件中,并在数据库服务器重新启动时读取该文件以达到数据预热的目的。文件autoprewarm.blocks默认保存在$PGDATA目录下,如下所示。

[postgres@mydb pgsql]$ pwd
/home/postgres/training/pgsql
[postgres@mydb pgsql]$ ll data/autoprewarm.blocks 
-rw------- 1 postgres postgres 425037 ...  data/autoprewarm.blocks


下面通过一个简单的测试来验证重启数据库服务器后,数据是否会自动进行预热。

(1)重启PostgreSQL数据库服务器,以达到清空缓存的目的。

(2)执行一条简单的查询语句,并查看相应的执行计划。

postgres=# explain (analyze,buffers,timing) select * from prewarmtable;
# 输出的信息如下:
                                  QUERY PLAN     
--------------------------------------------------------
 Seq Scan on prewarmtable  
 (cost=0.00..808940.56 rows=50010856 width=16) 
 (actual time=0.026..8544.466 rows=50000000 loops=1)
   Buffers: shared hit=16191 read=292641
 Planning:
   Buffers: shared hit=18 read=3
 Planning Time: 0.461 ms
 Execution Time: 13426.254 ms
(6 rows)
# 从输出的结果可以看出
# 此时读取数据时有16191个数据块被执行了自动预热加载到了缓存中。


在默认情况下,pg_prewarm扩展会每隔5分钟将内存中的数据写入文件autoprewarm.blocks中,这是由参数pg_prewarm.autoprewarm_interval决定,如下所示。

postgres=# show pg_prewarm.autoprewarm_interval ;
# 输出的信息如下:
 pg_prewarm.autoprewarm_interval 
---------------------------------
 5min
(1 row)


当重启PostgreSQL数据库服务器时,通过后台进程autoprewarm master将预热数据文件autoprewarm.blocks重新加载到内存中。通过使用ps命令可以看到该进程的信息,如下所示:

[postgres@mydb pgsql]$ ps -ef|grep postgres:
postgres 107174 107172  ...  postgres: checkpointer 
postgres 107175 107172  ...  postgres: background writer 
postgres 107176 107172  ...  postgres: walwriter 
postgres 107177 107172  ...  postgres: autovacuum launcher 
postgres 107178 107172  ...  postgres: archiver 
postgres 107179 107172  ...  postgres: stats collector 
postgres 107180 107172  ...  postgres: autoprewarm master 
postgres 107181 107172  ...  postgres: logical replication launcher 
postgres 107186 107172  ...  postgres: postgres postgres [local] idle
相关文章
|
11天前
|
人工智能 JSON 供应链
畅用7个月无影 JVS Claw |手把手教你把JVS改造成「科研与产业地理情报可视化大师」
LucianaiB分享零成本畅用JVS Claw教程(学生认证享7个月使用权),并开源GeoMind项目——将JVS改造为科研与产业地理情报可视化AI助手,支持飞书文档解析、地理编码与腾讯地图可视化,助力产业关系图谱构建。
23453 10
畅用7个月无影 JVS Claw |手把手教你把JVS改造成「科研与产业地理情报可视化大师」
|
14天前
|
人工智能 缓存 BI
Claude Code + DeepSeek V4-Pro 真实评测:除了贵,没别的毛病
JeecgBoot AI专题研究 把 Claude Code 接入 DeepSeek V4Pro,跑完 Skills —— OA 审批、大屏、报表、部署 5 大实战场景后的真实体验 ![](https://oscimg.oschina.net/oscnet/up608d34aeb6bafc47f
4879 16
Claude Code + DeepSeek V4-Pro 真实评测:除了贵,没别的毛病
|
16天前
|
人工智能 JSON BI
DeepSeek V4 来了!超越 Claude Sonnet 4.5,赶紧对接 Claude Code 体验一把
JeecgBoot AI专题研究 把 Claude Code 接入 DeepSeek V4Pro 的真实体验与避坑记录 本文记录我将 Claude Code 对接 DeepSeek 最新模型(V4Pro)后的真实体验,测试了 Skills 自动化查询和积木报表 AI 建表两个场景——有惊喜,也踩
5871 14
|
4天前
|
人工智能 缓存 Shell
Claude Code 全攻略:命令大全 + 实战工作流(完整版)
Claude Code 是一款运行在终端环境下的 AI 编码助手,能够直接在项目目录中理解代码结构、编辑文件、执行命令、执行开发计划,并支持持久化记忆、上下文压缩、后台任务、多模型切换等专业能力。对于日常开发、项目维护、快速重构、代码审查等场景,它可以大幅减少手动操作、提升编码效率。本文从常用命令、界面模式、核心指令、记忆机制、图片处理、进阶工作流等维度完整说明,帮助开发者快速上手并稳定使用。
875 1
|
4天前
|
前端开发 API 内存技术
对比claude code等编程cli工具与deepseek v4的适配情况
DeepSeek V4发布后,多家编程工具因未适配其强制要求的`reasoning_content`字段而报错。本文对比Claude Code、GitHub Copilot、Langcli、OpenCode及DeepSeek-TUI等主流工具的兼容性:Claude Code需按官方方式配置;Langcli表现最佳,开箱即用且无报错;Copilot与OpenCode暂未修复问题;DeepSeek-TUI尚处早期阶段。
826 2
对比claude code等编程cli工具与deepseek v4的适配情况
|
1月前
|
人工智能 自然语言处理 安全
Claude Code 全攻略:命令大全 + 实战工作流(建议收藏)
本文介绍了Claude Code终端AI助手的使用指南,主要内容包括:1)常用命令如版本查看、项目启动和更新;2)三种工作模式切换及界面说明;3)核心功能指令速查表,包含初始化、压缩对话、清除历史等操作;4)详细解析了/init、/help、/clear、/compact、/memory等关键命令的使用场景和语法。文章通过丰富的界面截图和场景示例,帮助开发者快速掌握如何通过命令行和交互界面高效使用Claude Code进行项目开发,特别强调了CLAUDE.md文件作为项目知识库的核心作用。
25122 65
Claude Code 全攻略:命令大全 + 实战工作流(建议收藏)