PostgreSQL 12的可拔插存储引擎--表访问方法以及bloackholes案例

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: PostgreSQL 12的可拔插存储引擎--表访问方法以及bloackholes案例

PostgreSQL 12的可拔插存储引擎--表访问方法以及bloackholes案例


正文


PostgreSQL使用自定义插件做扩展时非常便利,例如Decoder pluginsextensionbackground workers、索引访问方法、hooks、自定义函数、聚合、数据类型等。

对代码做了大量的重构后,PG12具备了表访问方法的基础架构,允许自定义表数据如何存储以及访问。默认情况下,PG的表还是使用heap存储引擎。他的工作原理是基于8KB的页面管理方式,并以段文件(默认1GB)的形式管理页面。需要保存所有版本的tuple。这就意味着即使只修改tuple的一个字段,也需要存储整个新版本。这就使得vaccumautovacuum变得更加昂贵。当然,本文目的不是讨论这个,需要了解的话可以查看手册。

表访问方法非常cool。允许以插件的形式集成到PG中,就像MySQL的多个存储引擎一样,使实现诸如列存储的功能成为可能。做的方法大致分为两类:

通过PG存储管理器的访问方法,充分利用现有的shared buffer层以及现有的页格式。有2个优势:自动支持备份和checksum

不通过PG的访问方法。不依赖于PGshared buffer。使完全依赖于操作系统换成成为可能。当然,需要自己添加函数来完成对checksum和备份的支持。

OttawaPG大会上有两个主题关于这个特性:

https://www.pgcon.org/2019/schedule/events/1374.en.html

https://www.pgcon.org/2019/schedule/events/1321.en.html

最近人们开始讨论新的AMszheap或者zstore。可拔插的WAL也收到限制,WAL需要注册大量的回调函数,resource manager IDs需要hard values。依赖于AM时,TIDs会成为一个重要问题。

有大量的回调函数定义了AM表是什么(当前有42个),未来接口可能会改变。

我写了个简单的demo作为表访问方法blackhole_am。作为一个新插件的一个demo,操作函数都是空函数。创建表访问方式需要CREATE ACCESS METHOD。编译后生成一个动态链接库,以扩展插件的形式集成到PG


=# CREATE EXTENSION blackhole_am;
CREATE EXTENSION
=# \dx+ blackhole_am
   Objects in extension "blackhole_am"
           Object description
-----------------------------------------
 access method blackhole_am
 function blackhole_am_handler(internal)
(2 rows)

 

表定义方式,参数default_table_access_method控制表访问方法,设置后可以不指定using


=# CREATE TABLE blackhole_tab (id int) USING blackhole_am;
CREATE TABLE
=# INSERT INTO blackhole_tab VALUES (generate_series(1,100));
INSERT 0 100
=# SELECT * FROM blackhole_tab;
 id
----
(0 rows)

原文

https://paquier.xyz/postgresql-2/postgres-12-table-am-blackhole/

 

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
5月前
|
SQL 关系型数据库 PostgreSQL
把PostgreSQL的表导入SQLite
把PostgreSQL的表导入SQLite
79 0
|
2月前
|
SQL 关系型数据库 Linux
在CentOS 6上安装和使用PostgreSQL的方法
在CentOS 6上安装和使用PostgreSQL的方法
19 2
|
2月前
|
Ubuntu 关系型数据库 数据库
在Ubuntu 18.04上安装和使用PostgreSQL的方法
在Ubuntu 18.04上安装和使用PostgreSQL的方法
40 1
|
2月前
|
Ubuntu 关系型数据库 Linux
在Ubuntu 14.04上安装和使用PostgreSQL的方法
在Ubuntu 14.04上安装和使用PostgreSQL的方法
21 1
|
2月前
|
关系型数据库 Linux 数据库
在CentOS 7上安装和使用PostgreSQL的方法
在CentOS 7上安装和使用PostgreSQL的方法
98 0
|
3月前
|
SQL 监控 关系型数据库
实时计算 Flink版操作报错合集之在设置监控PostgreSQL数据库时,将wal_level设置为logical,出现一些表更新和删除操作报错,怎么办
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
4月前
|
关系型数据库 PostgreSQL
postgresql如何将没有关联关系的两张表的字段合并
【6月更文挑战第2天】postgresql如何将没有关联关系的两张表的字段合并
85 3
|
4月前
|
SQL 关系型数据库 数据库连接
ClickHouse(20)ClickHouse集成PostgreSQL表引擎详细解析
ClickHouse的PostgreSQL引擎允许直接查询和插入远程PostgreSQL服务器的数据。`CREATE TABLE`语句示例展示了如何定义这样的表,包括服务器信息和权限。查询在只读事务中执行,简单筛选在PostgreSQL端处理,复杂操作在ClickHouse端完成。`INSERT`通过`COPY`命令在PostgreSQL事务中进行。注意,数组类型的处理和Nullable列的行为。示例展示了如何从PostgreSQL到ClickHouse同步数据。一系列的文章详细解释了ClickHouse的各种特性和表引擎。
119 0
|
4月前
|
SQL 关系型数据库 PostgreSQL
【sql】PostgreSQL物化视图表使用案例
【sql】PostgreSQL物化视图表使用案例
38 0
|
5月前
|
关系型数据库 PostgreSQL
postgresql将没有关联关系的两张表合并成一张
【5月更文挑战第4天】postgresql将没有关联关系的两张表合并成一张
170 5
下一篇
无影云桌面