PgSQL · 特性分析 · 金融级同步多副本分级配置方法

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介: 背景对于金融级的应用场景,2个副本通常是不够的,用户可能会需要多个副本。例如,一主4从,要求除了主以外,还需要2个同步的副本,其他可以为异步的副本。另一方面,我们在使用数据库时,为了扩展读的能力,读写分离是比较常见的用法。9.6以前的版本,同步复制是确保XLOG已经复制到备库,而不是已经在备库apply,虽然APPLY通常都很快,可能也在毫秒级别完成,但是以前没有apply级别的

背景

对于金融级的应用场景,2个副本通常是不够的,用户可能会需要多个副本。

例如,一主4从,要求除了主以外,还需要2个同步的副本,其他可以为异步的副本。

pic1

另一方面,我们在使用数据库时,为了扩展读的能力,读写分离是比较常见的用法。

9.6以前的版本,同步复制是确保XLOG已经复制到备库,而不是已经在备库apply,虽然APPLY通常都很快,可能也在毫秒级别完成,但是以前没有apply级别的同步机制。

例如,用户A往用户B的账户汇了一笔钱,同一时间用户B在异地马上要看到A汇过来的钱,这种异地、异库的读写分离场景,就需要主备事务级的严格一致,因此9.6的remote_apply就非常有效。

pic2

还有一种场景,在主备切换时,要求备库快速激活成和主库一样的状态,也需要remote_apply级别的复制。

以上是PostgreSQL 9.6在流复制方面的增强。

同步多副本配置方法

参数配置如下

synchronous_standby_names (string)

支持两种写法

num_sync ( standby_name [, ...] )  

standby_name [, ...]  

num_sync 数字,表示同步的副本数。

没有写num_sync的格式兼容以前的配置,表示1个副本。

standby_name是standby配置在recovery.conf中的application_name,可以使用*代替所有standby。

例子

2 (s1, s2, s3, s4)

表示2个副本为同步standby,其他为异步standby。

事物提交时,确保XLOG已同步到任意2个副本(前面两个是同步节点,后面2个是替补,当前面两个中任意的节点出问题,后面的会依次替补上)。

手册说明

Specifies a list of standby servers that can support synchronous replication, as described in Section 26.2.8.

There will be one or more active synchronous standbys;
transactions waiting for commit will be allowed to proceed after these standby servers confirm receipt of their data.

The synchronous standbys will be those whose names appear earlier in this list, and that are both currently connected and streaming data in real-time
(as shown by a state of streaming in the pg_stat_replication view).
Other standby servers appearing later in this list represent potential synchronous standbys.

If any of the current synchronous standbys disconnects for whatever reason, it will be replaced immediately with the next-highest-priority standby.

Specifying more than one standby name can allow very high availability.

This parameter specifies a list of standby servers using either of the following syntaxes:
num_sync ( standby_name [, …] )
standby_name [, …]
where num_sync is the number of synchronous standbys that transactions need to wait for replies from, and standby_name is the name of a standby server.
For example, a setting of 3 (s1, s2, s3, s4) makes transaction commits wait until their WAL records are received by three higher-priority standbys chosen from standby servers s1, s2, s3 and s4.
The second syntax was used before PostgreSQL version 9.6 and is still supported.

It’s the same as the first syntax with num_sync equal to 1.
For example, 1 (s1, s2) and s1, s2 have the same meaning:
either s1 or s2 is chosen as a synchronous standby.
The name of a standby server for this purpose is the application_name setting of the standby, as set in the primary_conninfo of the standby’s WAL receiver.

There is no mechanism to enforce uniqueness.
In case of duplicates one of the matching standbys will be considered as higher priority, though exactly which one is indeterminate.
The special entry * matches any application_name, including the default application name of walreceiver.
Note: Each standby_name should have the form of a valid SQL identifier, unless it is *.

You can use double-quoting if necessary.
But note that standby_names are compared to standby application names case-insensitively, whether double-quoted or not.
If no synchronous standby names are specified here, then synchronous replication is not enabled and transaction commits will not wait for replication.

This is the default configuration.
Even when synchronous replication is enabled, individual transactions can be configured not to wait for replication by setting the synchronous_commit parameter to local or off.

注意standby_name只是指定了同步的standby节点,而事务级别还有一个开关为synchronous_commit,通过配置synchronous_commit用于控制事务的同步级别,可以是异步的,也可以是同步的。

对于可靠性要求高的,可以配置为同步,否则可以为了性能配置为异步。

事务同步级别说明

通过参数synchronous_commit (enum)配置事务的同步级别。

如果要配置事务或者会话级别的参数,通过以下语法

SET [ SESSION | LOCAL ] configuration_parameter { TO | = } { value | 'value' | DEFAULT }

也就是说,用户可以根据实际的业务需求,对不同的事务,设置不同的同步级别。

目前支持的同步级别如下

事务提交或回滚时,会产生一笔事务结束的commit/rollback redo record,在REDO的地址系统中,用LSN表示。

on 事务commit或rollback时,等待其redo在primary、以及同步standby(s)已持久化(>=其lsn)
remote_apply 事务commit或rollback时,等待其redo在primary、以及同步standby(s)已持久化(>=其lsn)。 并且其redo在同步standby(s)已apply(>=其lsn)
remote_write 事务commit或rollback时,等待其redo在primary已持久化; 其redo在同步standby(s)已调用write接口(写到OS, 但是还没有调用持久化接口如fsync)(>=其lsn)
local 事务commit或rollback时,等待其redo在primary已持久化
off 事务commit或rollback时,等待其redo在primary已写入wal buffer,不需要等待其持久化

手册说明

synchronous_commit (enum)
Specifies whether transaction commit will wait for WAL records to be written to disk before the command returns a “success” indication to the client.
Valid values are on, remote_apply, remote_write, local, and off. The default, and safe, setting is on.

When off, there can be a delay between when success is reported to the client and when the transaction is really guaranteed to be safe against a server crash.
(The maximum delay is three times wal_writer_delay.)

Unlike fsync, setting this parameter to off does not create any risk of database inconsistency:
an operating system or database crash might result in some recent allegedly-committed transactions being lost, but the database state will be just the same as if those transactions had been aborted cleanly.

So, turning synchronous_commit off can be a useful alternative when performance is more important than exact certainty about the durability of a transaction.

For more discussion see Section 30.3.
If synchronous_standby_names is non-empty, this parameter also controls whether or not transaction commits will wait for their WAL records to be replicated to the standby server(s).

When set to on, commits will wait until replies from the current synchronous standby(s) indicate they have received the commit record of the transaction and flushed it to disk.
This ensures the transaction will not be lost unless both the primary and all synchronous standbys suffer corruption of their database storage.

When set to remote_apply, commits will wait until replies from the current synchronous standby(s) indicate they have received the commit record of the transaction and applied it,
so that it has become visible to queries on the standby(s).

When set to remote_write, commits will wait until replies from the current synchronous standby(s) indicate they have received the commit record of the transaction and written it out to their operating system.
This setting is sufficient to ensure data preservation even if a standby instance of PostgreSQL were to crash,
but not if the standby suffers an operating-system-level crash, since the data has not necessarily reached stable storage on the standby.

Finally, the setting local causes commits to wait for local flush to disk, but not for replication.

This is not usually desirable when synchronous replication is in use, but is provided for completeness.

If synchronous_standby_names is empty, the settings on, remote_apply, remote_write and local all provide the same synchronization level:
transaction commits only wait for local flush to disk.

This parameter can be changed at any time; the behavior for any one transaction is determined by the setting in effect when it commits.

It is therefore possible, and useful, to have some transactions commit synchronously and others asynchronously.

For example, to make a single multistatement transaction commit asynchronously when the default is the opposite, issue SET LOCAL synchronous_commit TO OFF within the transaction.

remote_apply事务同步级别配置方法

通过参数synchronous_commit (enum)配置事务的同步级别。

如果要配置事务或者会话级别的参数,通过以下语法

SET [ SESSION | LOCAL ] configuration_parameter { TO | = } { value | 'value' | DEFAULT }

小结

1. 可靠性
结合synchronous_standby_names与synchronous_commit的设置,可以实现非常灵活的事务级别可靠性的要求。

2. 读写分离的读一致性保证
当synchronous_commit=remote_apply时,这个事务产生的REDO必须要在sync standby(s)已apply,才返回给客户端事务结束。
这类事务,事务结束后发起的读请求,在primary以及sync standby可以做到读写完全一致。
牺牲写事务的RT,获得在多借点的读事务的完全一致。

3. 切换时延
当设置了synchronous_commit=remote_apply事务同步复制级别时,可以降低切换延迟。
备库在激活时,不需要apply redo,可以迅速的激活成为主库。

目录
相关文章
|
3月前
|
对象存储 数据安全/隐私保护
就软件研发问题之数据流动支持目录级别映射的问题如何解决
就软件研发问题之数据流动支持目录级别映射的问题如何解决
|
5月前
|
运维 安全 数据管理
数据管理DMS产品使用合集之并发限制是否可以临时增加
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
43 0
|
数据采集 架构师 数据管理
「数据架构」:建立企业数据管理的综合策略 执行概述
「数据架构」:建立企业数据管理的综合策略 执行概述
|
存储 监控 NoSQL
【活动】MongoDB 5.0时序存储特性线上研讨会
了解时间序列数据能力,提高数据存储效率
【活动】MongoDB 5.0时序存储特性线上研讨会
|
存储 算法 NoSQL
想要实现在时序场景下“远超”通用数据库,需要做到哪几点?
近年来,随着物联网技术和市场的快速发展、企业业务的加速扩张,时序数据的处理难题也越来越受到行业和企业的重视,时序场景下通用型数据库步履维艰,各种时序数据库产品应运而起。但是,做一个优质的时序数据库真的很容易吗?本篇文章将从数据库开发者的角度,解剖时序场景下的数据处理需求、分析时序数据库设计思路,给到读者一些硬核技术思考。
172 0
|
存储 SQL 机器学习/深度学习
MySQL · 内核特性 · 统计信息的现状和发展
简介我们知道查询优化问题其实是一个搜索问题。基于代价的优化器 ( CBO ) 由三个模块构成:计划空间、搜索算法和代价估计 [1] ,分别负责“看到”最优执行计划和“看准”最优执行计划。如果不能“看准”最优执行计划,那么优化器基本上就是瞎忙活,甚至会产生严重的影响,出现运算量特别大的 SQL ,造成在线业务的抖动甚至崩溃。在上图中,代价估计用一个多项式表示,其系数 c 反应了硬件环境和算子特性,而
317 0
MySQL · 内核特性 · 统计信息的现状和发展
|
存储 数据库
海量存储之十八--一致性和高可用专题
我们已经在上面的分析中,我们已经看到observer模型在多机场景下的问题,所以,paxos模型的目标就是解决这个问题,他解决这个问题的方法就是quorum模型。 我的目标是让大家能弄明白,掌握这些复杂的概念,所以我也会将以前我在淘宝java中间件团队内分享时候,大家经常犯的一些错误,也写到【】里
1488 2
|
SQL Go 数据库
MSSQL · 最佳实践 · 利用文件组实现冷热数据隔离备份方案
摘要 在SQL Server备份专题分享中,前四期我们分享了:三种常见的数据库备份、备份策略的制定、如何查找备份链以及数据库的三种恢复模式与备份之间的关系。本次月报我们分享SQL Server如何利用文件组技术来实现数据库冷热数据隔离备份的方案。
2036 0
|
SQL 存储 NoSQL
MSSQL · 特性分析 · 列存储技术做实时分析
摘要 数据分析指导商业行为的价值越来越高,使得用户对数据实时分析的要求变得越来越高。使用传统RDBMS数据分析架构,遇到了前所未有的挑战,高延迟、数据处理流程复杂和成本过高。这篇文章讨论如何利用SQL Server 2016列存储技术做实时数据分析,解决传统分析方法的痛点。 传统RDBMS数据分析 在过去很长一段时间,企业均选择传统的关系型数据库做OLAP和Data Warehouse工作。这一
3618 0
|
缓存 关系型数据库 数据库
下一篇
无影云桌面