PolarDB for PostgreSQL 开源必读手册-缓冲区管理器(上)

本文涉及的产品
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: PolarDB for PostgreSQL 开源必读手册-

缓冲区管理器位于用户和数据库存储之间,用户进程请求数据块时,由缓冲区管理器从数据库存储层将数据块读取到数据缓冲区提供服务。

 

image.png

 

数据缓冲区内存放的是数据块,包含表和索引的块、可用性地图的块、可见性地图的块以及缓冲区索引块。

 

image.png

 

缓冲区管理器分为三层,第一层为缓冲区表层,第二层为缓冲区描述层,第三层为缓冲区池层(负责将数据块从数据文件读到内存)。缓冲区描述层包含大量信息,也是对于管理最重要的一层。

 

image.png

 

缓冲区表层存在很多插槽,每个插槽里存放了数据块的标记,标记里包含了对于要访问的数据块的描述,比如哪个数据文件的第几个块。每个槽里记录了一个或多个标记。

 

image.png

 

比如缓冲区标记为{(16821、16384、37721)、0、7},其中16821、16384、37721分别代表对象oid、数据库oid以及表空间oid,0代表页面的fork number,7代表页面number。

 

image.png

 

将数据块读到数据缓冲区需要记录信息,此类信息存放在描述层。

 

描述层里包含了缓冲区的tag信息以及buffer_id。PolarDB将缓冲区分为多个大小相同的块,每个块都有自己的buffer_id。

 

refcount和usage_count用于描述缓冲区被访问的热度。缓冲区被某个进程访问过一次,refcount和usage_count均会+1。与此同时,如果缓冲区被时钟扫描过后refcount-1,refcount=0代表该缓冲区可用。

 

Flag有三个状态,其中dirty bit代表缓冲区已经被修改过;valid bit代表已经被写到数据文件,当前可用;io_in_progress bit代表正在被进程处理。

 

image.png

 

缓冲池层是连接描述层与表层非常重要的一层,它将内存分割为若干个内存块,每个内存块都有一个buffer_id。

 

image.png

 

将数据块读取到数据缓冲区的流程如下:首先,发送一个请求,请求到达描述层后分配一个插槽,管理器将数据块的标记记录在描述里,同时从数据缓冲区层申请内存块,将缓冲数据块的标记从数据库读到缓冲区,并发送 Buffer_id使得块的标记与 Buffer_id的标记能够进行匹配。

 

image.png

 

假如数据块是8k,则缓冲池会被分割为若干个8k的池槽,正好等于数据块的大小。

接下篇:https://developer.aliyun.com/article/1223086?groupCode=polardbforpg

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
2月前
|
数据库
|
2月前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
209 4
|
3月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
4月前
|
存储 关系型数据库 分布式数据库
揭秘PolarDB:中国云原生数据库的超级英雄,如何颠覆传统数据存储?
在数字化时代,数据成为企业的核心资产,而云原生数据库则是推动企业转型的关键。PolarDB凭借其先进的存储计算分离架构,在性能、可靠性和易用性方面脱颖而出,成为国内领先的选择。它支持多种数据库引擎,提供多副本存储机制,并采用按量付费模式,有效降低管理和成本压力,助力企业实现高效、可靠的数字化转型。
86 1
|
4月前
|
关系型数据库 分布式数据库 数据库
开源云原生数据库PolarDB PostgreSQL 15兼容版本正式发布
PolarDB进行了深度的内核优化,从而实现以更低的成本提供商业数据库的性能。
|
5月前
|
Cloud Native 关系型数据库 分布式数据库
云原生数据库2.0问题之PolarDB利用云计算技术红利如何解决
云原生数据库2.0问题之PolarDB利用云计算技术红利如何解决
|
5月前
|
Cloud Native 关系型数据库 分布式数据库
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
云原生关系型数据库PolarDB问题之PolarDB相比传统商用数据库的优势如何解决
47 1
|
5月前
|
存储 关系型数据库 MySQL
再探PolarDB —— PolarDB MySQL 四大场景下的全方位评测
本文全面评测了阿里云PolarDB MySQL在四大关键场景下的表现:Serverless极致弹性、列存索引(IMCI)、弹性并行查询(ePQ)以及无感秒切高可用。通过官方提供的免费体验资源,我们深入了解了PolarDB MySQL的核心能力和性能。Serverless极致弹性列存索引(IMCI弹性并行查询(ePQ)无感秒切高可用此外,文章还介绍了PolarDB MySQL在数据备份和HTAP(混合事务/分析处理)场景下的优势,包括灵活的备份策略、高效的全量和库表恢复方式,以及通过IMCI支持的HTAP能力。这些特性共同构成了PolarDB MySQL作为一款先进的云数据库服务的强大竞争力。
|
5月前
|
存储 关系型数据库 分布式数据库
揭秘PolarDB:中国云原生数据库的超级英雄,如何颠覆传统数据存储?
【8月更文挑战第8天】在数字化时代,数据成为企业的核心资产。随着云技术的发展,企业纷纷向云端迁移,选择合适的云原生数据库至关重要。PolarDB凭借卓越性能、高可靠性和易用性在中国市场领先。它采用存储计算分离架构,支持独立扩展,提高处理大规模数据的效率和灵活性。多副本机制确保数据高可用性和持久性,优于单副本存储方案。兼容多种数据库引擎,提供丰富管理工具,降低迁移和维护成本。按量付费模式帮助企业有效控制成本。因此,PolarDB为企业数字化转型提供了强有力的支持。
107 1
|
6月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之如何进行PostgreSQL(简称PG)的全量和增量备份管理
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB