PG技术大讲堂 - 第12讲:PostgreSQL wal作用与管理

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: PostgreSQL从小白到专家,技术大讲堂 - 第12讲:PostgreSQL wal作用与管理

PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUG PG技术大讲堂。

Part 12:PostgreSQL WAL作用与管理

内容1:WAL物理与逻辑结构

内容2:WAL数据内部布局

内容3:WAL数据写进程

内容4:WAL管理

内容5:WAL归档日志

WAL概述

· 没有WAL的插入操作

· 有WAL的插入操作

· Insert操作与recovery

· 使用WAL进行数据库恢复

事务日志与WAL文件

· 事务日志与WAL 段文件

使用内置函数pg_xlogfile_name(9.6或更早版本)或pg_walfile_name(10或更高版本),我们可以找到包含指定LSN的WAL段文件名。

WAL日志内部布局

· WAL内部布局

· 三类XLOG 数据部分记录 (version 9.5 or later)

写XLOG记录

· 写XLOG记录

WAL写处理

· WAL 写进程

1、At commit

2、When wal buffer full

3、writes periodically

写XLOG记录

· Checkpoint 处理概述

pg_control File

· pg_control File30

即使pg_控制文件存储超过40个项目,需要的三个项目如下所示:

State –最新检查点启动时数据库服务器的状态。总共有七种状态:“启动”是系统正在启动的状态;“关闭”是系统通过shut down命令正常关闭的状态;“生产中”是系统正在运行的状态;依此类推。

Latest checkpoint location –最新检查点记录的LSN位置。

Prior checkpoint location –先前检查点记录的LSN位置。

· 9.7.2. pg_control File

pg_control文件存储位置:

postgres> pg_controldata /usr/local/pgsql/data

pg_control version number: 937

Catalog version number: 201405111

Database system identifier: 6035535450242021944

Database cluster state: in production

pg_control last modified: Mon Apr 27 15:16:38 2020

Latest checkpoint location: 0/C000F48

Prior checkpoint location: 0/C000E70

... snip ...

Database Recovery

· 数据库实例恢复开始位置( 检查点)

· 数据库WAL日志记录

· 利用wal进行数据库恢复

WAL 文件管理

· WAL 日志切换

WAL 满足以下条件发生日志切换:

1、WAL segment has been filled up.

2、The function pg_switch_wal has been issued.

3、archive_mode is enabled and the time set to archive_timeout has been exceeded.(基于主备复制需求)

· 创建新的WAL日志文件

· WAL日志文件删除与回收(基于一个checkpoint完成过程)

· 文件管理WAL段文件的数量主要由以下三个参数控制:

1、checkpoint_segments (9.5版本后被废弃)

2、checkpoint_completion_target (默认为0.5)

3、WAL_keep_segments

((2+checkpoint_completion_target)×checkpoint_segments+1)

数据库归档

· 归档日志

连续归档是在WAL段切换时将WAL段文件复制到归档区域的功能,由archiver(后台)进程执行。其中,占位符%p是复制的WAL段,而%f是存档日志。

ALTER SYSTEM SET archive_command = 'cp %p /home/postgres/archives/%f';

ALTER SYSTEM SET archive_mod = on;

WAL 文件管理

· 发生切换时归档

· 设置wal相关参数

设置wal目录最大可用尺寸(默认值为1024MB):max_wal_size

设置wal文件最大可用尺寸(默认值为16MB):wal_segment_size

设置wal缓冲区尺寸(默认值512KB):wal_buffers

以上就是Part 12 - PostgreSQL wal作用与管理 的内容,欢迎进群一起探讨交流,钉钉交流群:35,82,24,60,钉钉群有专门讲解公开课

往期课程及视频,联系cuug

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
6月前
|
安全 关系型数据库 MySQL
《MySQL 简易速速上手小册》第4章:数据安全性管理(2024 最新版)
《MySQL 简易速速上手小册》第4章:数据安全性管理(2024 最新版)
86 3
|
6月前
|
运维 监控 安全
云HIS医疗管理系统源码——技术栈【SpringBoot+Angular+MySQL+MyBatis】
云HIS系统采用主流成熟技术,软件结构简洁、代码规范易阅读,SaaS应用,全浏览器访问前后端分离,多服务协同,服务可拆分,功能易扩展;支持多样化灵活配置,提取大量公共参数,无需修改代码即可满足不同客户需求;服务组织合理,功能高内聚,服务间通信简练。
193 4
|
4月前
|
关系型数据库 分布式数据库 数据库
PolarDB产品使用问题之如何进行PostgreSQL(简称PG)的全量和增量备份管理
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
4月前
|
存储 关系型数据库 MySQL
MySQL数据库开发进阶:精通数据库表的创建与管理22
【7月更文挑战第22天】数据库的创建与删除,数据表的创建与管理
48 1
|
5月前
|
SQL 关系型数据库 MySQL
MySQL数据库——SQL(4)-DCL(管理用户、权限控制)
MySQL数据库——SQL(4)-DCL(管理用户、权限控制)
40 1
|
5月前
|
自然语言处理 关系型数据库 数据库
技术经验解读:【转】PostgreSQL的FTI(TSearch)与中文全文索引的实践
技术经验解读:【转】PostgreSQL的FTI(TSearch)与中文全文索引的实践
56 0
|
5月前
|
存储 关系型数据库 数据库
经验大分享:PostgreSQL学习之【用户权限管理】说明
经验大分享:PostgreSQL学习之【用户权限管理】说明
50 0
|
6月前
|
存储 数据可视化 关系型数据库
【MySQL进阶之路 | 基础篇】创建和管理数据库
【MySQL进阶之路 | 基础篇】创建和管理数据库
|
5月前
|
SQL 关系型数据库 MySQL
MySQL管理与连接
MySQL管理与连接
|
6月前
|
安全 关系型数据库 MySQL