异步流复制模式如何保证不丢数据?

简介:

标签

PostgreSQL , 流复制 , 异步 , 2PC , 3PC


背景

PostgreSQL支持多种事务commit模式,以一主多备的同步流复制为例,事务的REDO信息持久化是怎样的呢?

配置synchronous_commit参数如下,以及对应的含义:

local:表示REDO本地持久化。

on:表示本地持久化,以及一个备库持久化。

remote_write:表示本地持久化,以及备库异步WRITE完成。

off:表示本地写wal buffer完成。

quorum:表示本地持久化,同时加上备库已持久化的个数,需要超过半数节点。

很显然,如果只有一个备库,并且synchronous_commit使用local模式的话,在发生HA时,不能保证不丢数据。

但是有什么方法能做到只有一个备库,并且synchronous_commit使用local模式,还能不丢数据呢?

2PC与LSN栅栏

两阶段提交(2PC),在很多分布式数据库中,被用于确保分布式事务的一致性。

在单个数据库中,也可以被业务用于多个事务之间的依赖保证。

实际上,如果你要保证事务提交后,在异步的备库也提交,也可以使用2PC来实现。

备库延迟的判断

首先我们要了解如何判断备库的延迟.

查看当前数据库的LSN位置。

# select pg_current_xlog_insert_location();  
 pg_current_xlog_insert_location   
---------------------------------  
 3F7/517DE940  
(1 row)  

查看备库接收并持久化的WAL LSN位置。

# select flush_location from pg_stat_replication ;  
 flush_location   
----------------  
 3F7/51EAE058  
(1 row)  

当 "备库的LSN >= 当前主库的LSN" 时,说明你前面提交的事务都已经同步到备库了。

例子

主库

产生一个2PC事务

postgres=# create table test(id int);  
CREATE TABLE  
postgres=# begin;  
BEGIN  
postgres=# insert into test values (1);  
INSERT 0 1  
postgres=# prepare transaction '2pctest';  
PREPARE TRANSACTION  

查看备库LSN是否大于等于主库当前的LSN

postgres=# select flush_location from pg_stat_replication ;  
 flush_location   
----------------  
 81/A601E170  
(1 row)  
  
postgres=# select pg_current_xlog_insert_location();  
 pg_current_xlog_insert_location   
---------------------------------  
 81/A601E170  
(1 row)  

确保 备库LSN是否大于等于主库当前的LSN 后,关闭主库(模拟主库DOWN机)

pg_ctl stop -m fast  
waiting for server to shut down.... done  
server stopped  

查看备库现在有没有未结束的2pc事务,当前还没有激活,所以看不到

postgres=# select * from pg_prepared_xacts ;  
 transaction | gid | prepared | owner | database   
-------------+-----+----------+-------+----------  
(0 rows)  

激活备库

pg_ctl promote  
server promoting  

再次查看备库,未提交的2PC出现了。

psql  
psql (9.4.1)  
Type "help" for help.  
  
postgres=# select * from pg_prepared_xacts ;  
 transaction |   gid   |           prepared           |  owner   | database   
-------------+---------+------------------------------+----------+----------  
   115258352 | 2pctest | 2017-05-04 19:42:51.32323+08 | postgres | postgres  
(1 row)  

你要做的是提交或回滚这些2PC事务即可。

使用这种方式,我们在异步的流复制节点中,也可以做到不丢事务。(虽然这么做比较繁琐。)

对于非常关键的事务,你可以通过以上方式来实现异步复制也不丢数据。

事务级同步级别

实际上PostgreSQL的同步级别(synchronous_commit)可以配置在事务中,也就是说,可以对可靠性要求高的事务,设置为同步模式。

对于可靠性要求低的事务,设置为异步模式。

例子,设置事务为同步模式。

begin;  
set local synchronous_commit=on;  -- 同步模式  
....  
end;  

例子,设置事务为异步模式。

begin;  
set local synchronous_commit=local;  -- 异步模式  
....  
end;  

参考

《PostgreSQL 10.0 preview 功能增强 - slave支持WAITLSN 'lsn', time;用于设置安全replay栅栏》

https://www.postgresql.org/docs/9.6/static/sql-prepare-transaction.html

https://www.postgresql.org/docs/9.6/static/sql-commit-prepared.html

https://www.postgresql.org/docs/9.6/static/sql-rollback-prepared.html

https://www.postgresql.org/docs/9.6/static/view-pg-prepared-xacts.html

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
11月前
|
数据采集 人工智能 缓存
2025年,告别手动数据爬取,Coze AI Agent助你全程无忧!
本文介绍如何利用Coze AI Agent构建智能数据采集方案,实现从网站抓取到数据清洗、存储的全流程自动化。通过可视化工作流设计,该方案可将人工日均处理量从不足百条提升至无限制自动采集,大幅提升数据工作效率。
|
前端开发 JavaScript Java
基于springboot+vue开发的校园食堂评价系统【源码+sql+可运行】【50809】
本系统基于SpringBoot与Vue3开发,实现校园食堂评价功能。前台支持用户注册登录、食堂浏览、菜品查看及评价发布;后台提供食堂、菜品与评价管理模块,支持权限控制与数据维护。技术栈涵盖SpringBoot、MyBatisPlus、Vue3、ElementUI等,适配响应式布局,提供完整源码与数据库脚本,可直接运行部署。
702 6
基于springboot+vue开发的校园食堂评价系统【源码+sql+可运行】【50809】
|
传感器 数据采集 IDE
【ESP32双核运行Freertos及互斥量】
【ESP32双核运行Freertos及互斥量】
1688 0
|
数据采集 存储 监控
99%成功率背后:阿里云短信服务有何优势?
为什么短信会发送失败,如何提高短信发送成功率,本文将为您介绍短信发送成功率和阿里云短信服务如何保障企业短信稳定送达等相关知识。
1126 1
99%成功率背后:阿里云短信服务有何优势?
|
算法 Go C++
【LeetCode 算法专题突破】二叉树的深度优先遍历(⭐)
【LeetCode 算法专题突破】二叉树的深度优先遍历(⭐)
375 0
|
传感器 存储 缓存
[尚硅谷flink学习笔记] 实战案例TopN 问题
这段内容是关于如何使用Apache Flink解决实时统计水位传感器数据中,在一定时间窗口内出现次数最多的水位问题,即"Top N"问题。首先,介绍了一个使用滑动窗口的简单实现,通过收集传感器数据,按照水位计数,然后排序并输出前两名。接着,提出了全窗口和优化方案,其中优化包括按键分区(按水位vc分组)、开窗操作(增量聚合计算count)和过程函数处理(聚合并排序输出Top N结果)。最后,给出了一个使用`KeyedProcessFunction`进行优化的示例代码,通过按键by窗口结束时间,确保每个窗口的所有数据到达后再进行处理,提高了效率。
651 1
IDEA——代码文件如何插入作者注释
IDEA——代码文件如何插入作者注释
524 0
|
JavaScript 前端开发 测试技术
document.write()方法总结
document.write()方法总结
1311 0
|
JSON Java fastjson
使用spring boot开发时java对象和Json对象转换
使用spring boot开发时java对象和Json对象转换
2421 1
使用spring boot开发时java对象和Json对象转换
|
人工智能 大数据 5G
400G光模块已经部署,需求将进一步扩大
2023年底,电信运营商完成400G OTN试验网设备部署,标志着400G技术大规模部署的开端。400G传输技术日趋成熟,预计2024年实现长距离商用。400G光模块在提升数据传输效率、降低能耗方面发挥关键作用,适应云计算、大数据、AI对高效算力的需求。光纤技术行业显现复苏态势,400G光模块部署成为数据中心发展的必然,支持新兴技术发展。随着5G、云计算等技术进步,对高速光模块需求激增,推动光纤行业创新与市场扩张。
533 2