PostgreSQL 数据库数据文件BLOCK一致性校验、备份集恢复后的有效性快速校验 - pg_verify_checksums

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: PostgreSQL 数据库数据文件BLOCK一致性校验、备份集恢复后的有效性快速校验 - pg_verify_checksums

背景

使用PostgreSQL pitr,数据库恢复到一个时间点后,这个数据库的所有BLOCK是否都是一致的?

数据库在DOWN机恢复后,数据文件所有BLOCK是否一致?

定期抽查数据库的数据文件是否BLOCK级一致?

以上需求如何快速的满足呢?

PostgreSQL允许用户开启block checksum功能,使用pg_verify_checksums工具,可以对整个数据库或指定的数据文件进行checksum校验,确保数据文件逻辑上一致。

pg_verify_checksums 校验数据块一致性

1、停库,目前不支持OPEN状态下的校验。

2、使用pg_verify_checksums校验

pg_verify_checksums verifies data checksums in a PostgreSQL database cluster.  
  
Usage:  
  pg_verify_checksums [OPTION]... [DATADIR]  
  
Options:  
 [-D, --pgdata=]DATADIR  data directory  
  -v, --verbose          output verbose messages  
  -r RELFILENODE         check only relation with specified relfilenode  
  -V, --version          output version information, then exit  
  -?, --help             show this help, then exit  
  
If no data directory (DATADIR) is specified, the environment variable PGDATA  
is used.  
  
Report bugs to <pgsql-bugs@postgresql.org>.  
pg_verify_checksums -D /data01/digoal/pg_root8009  
Checksum scan completed  
Data checksum version: 1  
Files scanned:  932  
Blocks scanned: 2909  
Bad checksums:  0  

3、目前pg_verify_checksums识别到错误会直接退出程序

pg_verify_checksums -D /data01/digoal/pg_root8009   
pg_verify_checksums: could not read block 0 in file "/data01/digoal/pg_root8009/base/13285/13120_fsm": read 1023 of 8192  
static void  
scan_file(const char *fn, BlockNumber segmentno)  
{  
        PGAlignedBlock buf;  
        PageHeader      header = (PageHeader) buf.data;  
        int                     f;  
        BlockNumber blockno;  
  
        f = open(fn, O_RDONLY | PG_BINARY);  
        if (f < 0)  
        {  
                fprintf(stderr, _("%s: could not open file \"%s\": %s\n"),  
                                progname, fn, strerror(errno));  
                exit(1);  
        }  
  
        files++;  
  
        for (blockno = 0;; blockno++)  
        {  
                uint16          csum;  
                int                     r = read(f, buf.data, BLCKSZ);  
  
                if (r == 0)  
                        break;  
                if (r != BLCKSZ)  
                {  
                        fprintf(stderr, _("%s: could not read block %u in file \"%s\": read %d of %d\n"),  
                                        progname, blockno, fn, r, BLCKSZ);  
                        exit(1);  
                }  
                blocks++;  
  
                /* New pages have no checksum yet */  
                if (PageIsNew(header))  
                        continue;  
  
                csum = pg_checksum_page(buf.data, blockno + segmentno * RELSEG_SIZE);  
                if (csum != header->pd_checksum)  
                {  
                        if (ControlFile->data_checksum_version == PG_DATA_CHECKSUM_VERSION)  
                                fprintf(stderr, _("%s: checksum verification failed in file \"%s\", block %u: calculated checksum %X but block contains %X\n"),  
                                                progname, fn, blockno, csum, header->pd_checksum);  
                        badblocks++;  
                }  
        }  
  
        if (verbose)  
                fprintf(stderr,  
                                _("%s: checksums verified in file \"%s\"\n"), progname, fn);  
  
        close(f);  
}  

如果期望扫描完所有文件,并将所有有错误的文件打印出来,需要修改一下pg_verify_checksums的代码

注意

版本要求,PostgreSQL 11以上。

低于11的版本,需要将pg_verify_checksums的功能向下PORT一下。

参考

《PostgreSQL 11 preview - Allow on-line enabling and disabling of data checksums (含pg_verify_checksums工具,离线检查数据文件有误块错误)》

https://www.postgresql.org/docs/11/pgverifychecksums.html

PostgreSQL 许愿链接

您的愿望将传达给PG kernel hacker、数据库厂商等, 帮助提高数据库产品质量和功能, 说不定下一个PG版本就有您提出的功能点. 针对非常好的提议,奖励限量版PG文化衫、纪念品、贴纸、PG热门书籍等,奖品丰富,快来许愿。开不开森.

9.9元购买3个月阿里云RDS PostgreSQL实例

PostgreSQL 解决方案集合

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
4天前
|
存储 关系型数据库 MySQL
如何处理爬取到的数据,例如存储到数据库或文件中?
处理爬取的数据,可存储为txt、csv(适合表格数据)或json(适合结构化数据)文件。若需存储大量数据并执行复杂查询,可选择关系型(如MySQL)或非关系型(如MongoDB)数据库。以MySQL为例,需安装数据库和Python的pymysql库,创建数据库和表,然后编写Python代码进行数据操作。选择存储方式应考虑数据类型、数量及后续处理需求。
12 1
|
10天前
|
运维 关系型数据库 分布式数据库
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
4月19日周五,PolarDB开源社区联合科大讯飞共同举办开源数据库技术沙龙,本次沙龙我们邀请了众多数据库领域的专家,期待大家的参与!
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
|
13天前
|
数据库
使用Navicat Premium 12进行数据库定期自动备份(定时任务)--图文详解
使用Navicat Premium 12进行数据库定期自动备份(定时任务)--图文详解
19 0
|
13天前
|
SQL 存储 关系型数据库
mysql数据库备份与恢复
mysql数据库备份与恢复
|
25天前
|
关系型数据库 分布式数据库 数据库
成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
近日,成都晨云信息技术有限责任公司(以下简称晨云信息)与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明,晨云信息旗下晨云-站群管理系统(V1.0)与阿里云以下产品:开源云原生数据库PolarDB PostgreSQL版(V11),完全满足产品兼容认证要求,兼容性良好,系统运行稳定。
|
26天前
|
监控 关系型数据库 数据库
OceanBase数据库常见问题之文件存在但是数据库提示文件不存在如何解决
OceanBase 是一款由阿里巴巴集团研发的企业级分布式关系型数据库,它具有高可用、高性能、可水平扩展等特点。以下是OceanBase 数据库使用过程中可能遇到的一些常见问题及其解答的汇总,以帮助用户更好地理解和使用这款数据库产品。
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB常见问题之PolarDB突然有大量服务连不上数据库如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
关系型数据库 分布式数据库 数据库
PolarDB常见问题之数据库不能自己减少节点如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
缓存 关系型数据库 分布式数据库
PolarDB常见问题之数据库cpu突然飙高如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
SQL Java 数据库连接
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
从来没想到我们会扒拉nohup文件去找我们想要的数据,然后往数据库中添加。。。...
17 0

相关产品

  • 云原生数据库 PolarDB