PolarDB for PostgreSQL 开源必读手册-VACUUM处理(中)

简介: PolarDB for PostgreSQL 开源必读手册-VACUUM处理

接上篇 :https://developer.aliyun.com/article/1223091?spm=a2c6h.13148508.setting.21.44ec4f0eNvAByn



做vacuum时,正常情况下需要将表的所有数据扫描一遍。为了提高效率,PolarDB使用了VM(可见性地图)数据文件。

 

如上图,比如当前有三个数据块,第二块里不包含被删除的行,则VM会将其标识为1。后续做vacuum时,会跳过VM=1的页,提高vacuum的效率。

 

9.6版本以后,可见性地图除了提高 vacuum的效率以外,同时也提高了冻结的效率。

 

image.png

 

数据库为了描述事务操作的先后顺序,会为事务分配ID号,即TxID。

 

TxID不会无限增大,而是循环使用。最大的可用事务ID为42亿,PolarDB将其分为两半,前21亿代表“过去的或当前正在用的”,此类事务ID修改的行为对用户可见;而后21亿事务ID代表“未来的”,修改的函数不可见。

 

两个部分的21亿事务ID可以循环使用。比如前面的21亿使用完以后,再用后面的21亿,使用完以后再重新使用前面的21亿。

 

image.png

 

冻结主要针对可见性规则。

 

比如当前正在使用后21亿的TxID,而前21亿中某个数据块里仍有数据,需要对用户可见。因此,将其标记为冻结,使得其可见。

 

冻结处理分为懒惰模式和急切模式。懒惰模式指每次小部分、分批次地进行冻结,类似于日常做卫生;急切模式指大批量地冻结,类似于年终大扫除。

 

image.png

 

惰性冻结的公式中,OldestXmin指当前最小的事务id,vacuum_freeze_min_age是一个固定参数,默认为5000万。

 

image.png

 

以上图为例,假设当前的最小事务id为50002500,意味着要将小于或等于2500的ID都冻结。

 

冻结时,首先会先判断VM值,如果VM为1(当前数据块内不存在被删除的行),则跳过,不对其进行冻结。然后判断每一个块内每一行的事务id,如果id<=2500,则在其某一位上标记为frozen;若id>2500,则跳过。比如上图中Turple9内最后一行id为3000,因此不冻结。

 

image.png

 

急性冻结的触发条件为:自上一次急性冻结后,TxID使用了1亿5000万后会再次触发。

 

image.png

 

如上图,如果从未做过急性冻结,则datfrozenxid默认为560。发生急性冻结后,datfrozenxid会变为该次急性冻结的TxID。

 

image.png

 

如上图所示,当前最小的事务id为150002000,150002000-5000000=100002000,因此事务id小于100002000的行全部进行冻结。

 

比如当前有三个块,PolarDB会对三个块全部进行扫描,事务ID小于100002000的,在该行某一位做frozen标记。

 

可以理解为,只有很早以前的事务修改的行会被冻结,最新修改的行不冻结。


接下篇:https://developer.aliyun.com/article/1223089?groupCode=polardbforpg

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
12月前
|
SQL 关系型数据库 MySQL
开源新发布|PolarDB-X v2.4.2开源生态适配升级
PolarDB-X v2.4.2开源发布,重点完善生态能力:新增客户端驱动、开源polardbx-proxy组件,支持读写分离与高可用;强化DDL变更、扩缩容等运维能力,并兼容MySQL主备复制及MCP AI生态。
开源新发布|PolarDB-X v2.4.2开源生态适配升级
|
12月前
|
SQL 关系型数据库 MySQL
开源新发布|PolarDB-X v2.4.2开源生态适配升级
PolarDB-X v2.4.2发布,新增开源Proxy组件与客户端驱动,支持读写分离、无感高可用切换及DDL在线变更,兼容MySQL生态,提升千亿级大表运维稳定性。
2380 24
开源新发布|PolarDB-X v2.4.2开源生态适配升级
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格:MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法,支持集中式与分布式架构。标准版2核4G年费1116元起,企业版最高性能达4核16G,支持HTAP与多级高可用,广泛应用于金融、政务、互联网等领域,TCO成本降低50%。
|
人工智能 关系型数据库 MySQL
开源PolarDB-X:单节点误删除binlog恢复
本文由邵亚鹏撰写,分享了在使用开源PolarDB-X过程中,因误删binlog导致数据库服务无法启动的问题及恢复过程。作者结合实践经验,详细介绍了在无备份情况下如何通过单节点恢复机制重启数据库,并提出了避免类似问题的几点建议,包括采用高可用部署、定期备份及升级至最新版本等。
|
存储 关系型数据库 测试技术
拯救海量数据:PostgreSQL分区表性能优化实战手册(附压测对比)
本文深入解析PostgreSQL分区表的核心原理与优化策略,涵盖性能痛点、实战案例及压测对比。首先阐述分区表作为继承表+路由规则的逻辑封装,分析分区裁剪失效、全局索引膨胀和VACUUM堆积三大性能杀手,并通过电商订单表崩溃事件说明旧分区维护的重要性。接着提出四维设计法优化分区策略,包括时间范围分区黄金法则与自动化维护体系。同时对比局部索引与全局索引性能,展示后者在特定场景下的优势。进一步探讨并行查询优化、冷热数据分层存储及故障复盘,解决分区锁竞争问题。
2008 2
|
存储 Cloud Native 关系型数据库
PolarDB开源:云原生数据库的架构革命
本文围绕开源核心价值、社区运营实践和技术演进路线展开。首先解读存算分离架构的三大突破,包括基于RDMA的分布式存储、计算节点扩展及存储池扩容机制,并强调与MySQL的高兼容性。其次分享阿里巴巴开源治理模式,涵盖技术决策、版本发布和贡献者成长体系,同时展示企业应用案例。最后展望技术路线图,如3.0版本的多写多读架构、智能调优引擎等特性,以及开发者生态建设举措,推荐使用PolarDB-Operator实现高效部署。
667 4
|
存储 关系型数据库 MySQL
开源PolarDB- X|替换Opengemini时序数据场景下产品力校验
本文作者:黄周霖,数据库技术专家,就职于南京北路智控股份有限公司,负责数据库运维及大数据开发。
|
关系型数据库 分布式数据库 数据库
一库多能:阿里云PolarDB三大引擎、四种输出形态,覆盖企业数据库全场景
PolarDB是阿里云自研的新一代云原生数据库,提供极致弹性、高性能和海量存储。它包含三个版本:PolarDB-M(兼容MySQL)、PolarDB-PG(兼容PostgreSQL及Oracle语法)和PolarDB-X(分布式数据库)。支持公有云、专有云、DBStack及轻量版等多种形态,满足不同场景需求。2021年,PolarDB-PG与PolarDB-X开源,内核与商业版一致,推动国产数据库生态发展,同时兼容主流国产操作系统与芯片,获得权威安全认证。

热门文章

最新文章

相关产品

  • 云原生数据库 PolarDB
  • 推荐镜像

    更多