PolarDB for PostgreSQL 开源必读手册-PolarDB数据库结构(中)

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: PolarDB for PostgreSQL 开源必读手册

接上篇:https://developer.aliyun.com/article/1223108?spm=a2c6h.13148508.setting.32.44ec4f0eNvAByn


随着表的数据越来越多,文件尺寸超过1GB后,命名规则也会有所改变,会在原有名字后加上.1以示区别。

 

image.png

 

fsm(free space map)是空闲可用空间地图。比如有多个数据块,往表里插入数据时,需要明确哪个数据块里有空间可用于存放新插入的数据,PolarDB会先查看fsm文件。

 

vm是可见性地图,主要用于对表空间进行整理,帮助vacuum时提高效率。

 

数据文件的fork号为0,空闲空间映射的fork号为1,可见性地图的fork号为2。

 

image.png

 

PolarDB也支持自建表空间(目前仅在企业版PolarDB支持)。

 

创建新的表空间后,PGDATA下的pg.tblspc目录下存在与新建表空间名一致的目录。它是一个指针,指向创建表空间时的物理位置,数据存放于/home/postgres/tblspc上。

 

image.png

 

PolarDB默认有两个可用的表空间,pg_default和pg_global。默认情况下使用pg_default。

 

image.png

 

表数据文件内部被分为多个块,默认8k,每个块都有唯一ID。

 

上图右侧为数据块的结构。块头里面存放了控制性的信息,比如常见的行指针。存放数据时,顺序为从下往上存放,而块头的信息为从上往下存放,中间区域即可用空间。

 

image.png

 

一行数据插入到数据块中,首先,数据会进入块的底部,块头产生指针,指向行开始的位置。插入第二行数据,则会由下往上叠加,并在块头产生新的指针。

 

image.png

 

访问表的方式有两种

 

顺序扫描:即全表扫描。比如有两个数据块,PolarDB在访问时会先找到第一个块的位置,并从第一行开始进行完整扫描;如果没有,则进入第二个块的第一行继续扫描,以此类推。

 

索引扫描:根据索引行里记录的rowID进行扫描,无需全表扫描。

 

image.png

 

启动PolarDB数据库时,会先启动实例,实例由进程和内存组成。postgres server process是PolarDB的父进程,所有后台进程、后端进程等都由父进程派生。backend process进程负责处理用户请求,background process用于管理整个数据库。

 

image.png

 

Backend process负责客户端请求。客户端访问数据库时,并不会直接与数据库交互,而是将所有请求发给Backend进程(相当于代理进程),由它再向server进程或后台进程发出请求。执行结果也由Backend进程返回给用户进程。

 

image.png

接下篇:https://developer.aliyun.com/article/1223106?groupCode=polardbforpg

 

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
1月前
|
存储 NoSQL 关系型数据库
PolarDB开源数据库进阶课17 集成数据湖功能
本文介绍了如何在PolarDB数据库中接入pg_duckdb、pg_mooncake插件以支持数据湖功能, 可以读写对象存储的远程数据, 支持csv, parquet等格式, 支持delta等框架, 并显著提升OLAP性能。
58 1
|
1月前
|
存储 容灾 关系型数据库
PolarDB开源数据库进阶课11 激活容灾(Standby)节点
本文介绍了如何激活PolarDB容灾(Standby)节点,实验环境依赖于Docker容器中用loop设备模拟共享存储。通过`pg_ctl promote`命令可以将Standby节点提升为主节点,使其能够接收读写请求。激活后,原Standby节点不能再成为PolarDB集群的Standby节点。建议删除对应的复制槽位以避免WAL文件堆积。相关操作和配置请参考系列文章及视频教程。
36 1
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课5 在线备份
本文介绍了如何在PolarDB RAC一写多读集群中进行在线备份,特别针对共享存储模式。通过使用`polar_basebackup`工具,可以将实例的本地数据和共享数据备份到本地盘中。实验环境依赖于Docker容器中用loop设备模拟的共享存储。
37 1
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课15 集成DeepSeek等大模型
本文介绍了如何在PolarDB数据库中接入私有化大模型服务,以实现多种应用场景。实验环境依赖于Docker容器中的loop设备模拟共享存储,具体搭建方法可参考相关系列文章。文中详细描述了部署ollama服务、编译并安装http和openai插件的过程,并通过示例展示了如何使用这些插件调用大模型API进行文本分析和情感分类等任务。此外,还探讨了如何设计表结构及触发器函数自动处理客户反馈数据,以及生成满足需求的SQL查询语句。最后对比了不同模型的回答效果,展示了deepseek-r1模型的优势。
99 0
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课14 纯享单机版
PolarDB不仅支持基于“共享存储+多计算节点”的集群版,还提供类似开源PostgreSQL的单机版。单机版部署简单,适合大多数应用场景,并可直接使用PostgreSQL生态插件。通过Docker容器、Git克隆代码、编译软件等步骤,即可完成PolarDB单机版的安装与配置。具体操作包括启动容器、进入容器、克隆代码、编译软件、初始化实例、配置参数及启动数据库。此外,还有多个相关教程和视频链接供参考,帮助用户更好地理解和使用PolarDB单机版。
46 0
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课13 单机版转换为集群版
本文介绍如何将“本地存储实例”转换为“共享存储实例”,依赖于先前搭建的实验环境。主要步骤包括:准备PFS二进制文件、格式化共享盘为pfs文件系统、启动pfsd服务、停库并拷贝数据到pfs内、修改配置文件,最后启动实例。通过这些操作,成功实现了从本地存储到共享存储的转换,并验证了新实例的功能。相关系列文章和视频链接提供了更多背景信息和技术细节。
22 0
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课7 实时流式归档
本文介绍了如何在PolarDB RAC一写多读集群中实现实时归档,确保WAL日志的及时备份。实验依赖于Docker容器和loop设备模拟的共享存储环境。通过配置主节点的`pg_hba.conf`、创建复制槽以及使用`pg_receivewal`工具,实现实时接收并归档WAL文件。此外,还提供了详细的命令行帮助和相关文档链接,方便读者参考和操作。注意:如果已搭建容灾节点,则无需重复进行实时归档。
13 0
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课2 创建容灾(standby)节点
本文介绍了如何在macOS中搭建PolarDB的容灾(standby)节点,作为“穷鬼玩PolarDB RAC一写多读集群”系列的一部分。基于前一篇通过Docker和loop设备模拟共享存储的经验,本文详细描述了创建虚拟磁盘、启动容器、配置网络、格式化磁盘、备份数据及配置standby节点的具体步骤。
29 0
|
23天前
|
关系型数据库 分布式数据库 数据库
喜报|PolarDB开源社区荣获“2024数据库国内活跃开源项目”奖
喜报|PolarDB开源社区荣获“2024数据库国内活跃开源项目”奖
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课12 集群版转换为单机版
本文介绍了如何将“共享存储实例”转换为“本地存储实例”,实验环境依赖于Docker容器中的loop设备模拟共享存储。具体步骤包括准备本地目录、停库、拷贝数据、修改配置文件并启动实例。通过这些操作,可以实现从共享存储到本地存储的平滑转换。相关系列文章详细记录了PolarDB RAC一写多读集群的搭建与管理,提供了丰富的实战经验。
27 3

相关产品

  • 云原生数据库 PolarDB