TiDB用什么保证备份的一致性?

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: TiDB用什么保证备份的一致性?

背景

作为一名MySQL DBA,就应该了解MySQL备份无论是逻辑备份还是物理备份,都会使用FLUSH TABLES WITH READ LOCK(下面简称FTWRL)锁来保证数据库备份的一致性。

描述FTWRL锁对一致性的影响

先拿,MySQL逻辑备份MySQLDump举例。

MySQLDump,为了保证备份一致性,需要添加2个参数

–single-transaction --master-data=2 。

在开启–single-transaction后,MySQLDump的备份流程大概就是,在MySQL中会执行如下操作。

刷新表flush tables 用来防止DDL操作。

执行FTWRL锁,这个时候整个数据库整体被锁住,让数据库处于一个一致性的状态。

设置当前session(回话)事务的隔离级别为RR。

记录当前的MySQLbinlog的位置,或者GTID信息。

解锁。#从加锁到解锁执行速度会很快,前提是没有锁冲突,如果有锁冲突,就会到锁等待的一个状态。

物理备份xtrabackup,物理备份执行FTWRL锁的时间相对较长,下面来看一下xtrabackup对FTWRL锁的流程。

执行FTWRL锁。

拷贝frm、MYD、MYI、etc拷贝。

等待redo的拷贝完成。

记录当前的MySQLbinlog的位置,或者GTID信息。

解锁。

xtrabackup加锁是为了保证在数据库中如果有MyiSAM表,尽量保证MyiSAM表的备份一致性。

之前有个同学说。物理备份加FTWRL锁会比逻辑备份加锁时间短,这个结论其实是错误的。物理备份加锁的时间完全取决一下当前数据库里有没有MyiSAM表,MyiSAM表的大小。

TiDB是用什么保证数据库一致性的

先说TiDB官方推荐的逻辑备份mydumper, 一开始我以为mydumper也是用FTWRL锁来保证备份的一致性。结果我今天在看文档的时候发现,这个结论是错误的。

官方对mydumper进行了优化和修改。先看一下官方的描述。下面内容来自TiDB官方文档。

对于 TiDB 可以设置 tidb_snapshot 的值指定备份数据的时间点,从而保证备份的一致性,而不是通过 FLUSH TABLES WITH READ LOCK 来保证备份一致性。

使用 TiDB 的隐藏列 _tidb_rowid 优化了单表内数据的并发导出性能。

大家先记住 TiDB 是通过 tidb_snapshot,来实现备份,而不是FTWRL锁来保证。这么设计会有什么问题?能保证数据备份的一致性吗?

要解答这个问题,要简单说一下TiDB的架构设计。

TiDB的存储节点是TiKV,下面主要针对TiKV来说。先把TiKV,理解为很大的一个Key-value的存储器。
image.png

(图1选自TiDB官方文档)

这块跟备份其实没有什么关系,先让大家大概了解一下TiKV存什么。

下面的内容就跟备份有关系了,TiDB 的MVCC(多版本控制器)实现是在TiKV中。TiKV中加了MVCC,key和value这样的。

image.png

我认为version就是TSO(全局唯一递增时间戳),我是通过TiDB二阶段提交中发现的。

如果不是的话version的版本信息就会存在PD里面,这样设计的话会增加PD的压力,感觉不现实。

针对上面描述有一个小的结论TiKV里面会存储历史key的信息。

下面还是来一个问答来解答上面的疑问。

问:TiDB是通过什么来保证数据的一致性的?

答:是基于TiKV里面的MVCC来保证的,根据当前的的时间戳信息,来下发命令

sql=“SET SESSION tidb_snapshot = ‘415599012634951683’”。

这个session就会读到这个时间点的历史版本的数据。

下一步的操作,只要把所有的表和里面的数据扫出来就可以了。

问:通过MVCC实现的备份,能达到一致性吗?(因为没有锁)

答:是可以的,大家可以看一下我之前写的《浅析TiDB二阶段提交》那篇文章中里面有写到,只有事务成功提交才能会写入到TiKV中,才会有TSO(全局唯一递增时间戳)。也就是TiKV中里面的key都是成功提交的。

那么在备份的过程中提交的成功的事务是不会被扫到的。

因为备份过程中提交的事务的tso(全局唯一递增时间戳)会大于当前的备份发起的tso(全局唯一递增时间戳)。

问: 使用了MVCC的备份方式,会有那些问题?

答:我认为最大的问题就是 在备份的过程中老的key被GC(垃圾清理)掉,解决这个问题的最好的办法,可以把GC(垃圾清理)时间设置的长一点。

UPDATE mysql.tidb SET VARIABLE_VALUE = ‘800h’ WHERE VARIABLE_NAME = ‘tikv_gc_life_time’;

可以设置为800h(根据时间情况而定),备份结束后要修改回来,否则会浪费存储空间。

通过上面的描述,大家应该会了解到TiDB对备份的一致性处理的相关细节。

在TiDB4.0的分布式备份恢复工具br,在这块处理是类似的。也是利用MVCC的方式来实现的。

最后在安利一下TiDB4.0的备份工具br。备份的速度快,消耗资源相对较低。下面的案例 仅供参考 大家感兴趣的话 我可以做一下详细的测试, 留言刷起来 。

机器描述:三台阿里云4C8G SSD50G,Sysbench 压力10张表每张表1千万条数据。
image.png

整体大概5分钟左右,brlog里面会记录相关信息。

开始时间16:44:27.009 结束时间16:49:40.395
image.png

image.png

相同环境我用mydumper测,mydumper运行在tidb的节点上。

mydumper是4个线程数(默认线程数)

他备份的过程中把tidb压的OOM了。

可以用-r参数控制每个并发处理的数据量来避免。

image.png

image.png

大概是我的机器配置低,而且mydumper和tidb-server是同一台机器,这块只是给大家提供一个参考。这块我在后续测一下吧,会有一个完整的测试例子,目前备份工具还是推荐 mydumper 。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
4月前
|
算法 关系型数据库 MySQL
TiDB保证数据一致性的策略与优势
【2月更文挑战第28天】TiDB作为一款分布式数据库,通过其独特的策略和优势,确保在分布式环境下数据的一致性。本章将详细探讨TiDB保证数据一致性的核心策略,包括其采用的分布式一致性协议、数据复制机制以及容错处理等方面,并阐述这些策略所带来的优势。通过理解TiDB的数据一致性保证机制,读者将能更深入地认识其作为分布式数据库的价值。
|
4月前
|
消息中间件 缓存 数据库
如何保证缓存与数据库的数据一致性?
如何保证缓存与数据库的数据一致性?
82 5
|
23天前
|
消息中间件 缓存 监控
如何保证缓存和数据库的一致性?
保证缓存和数据库的一致性的做法
|
30天前
|
存储 关系型数据库 MySQL
MySQL主从同步如何保证数据一致性?
MySQL主从同步如何保证数据一致性?
55 0
MySQL主从同步如何保证数据一致性?
|
3月前
|
监控 关系型数据库 分布式数据库
PolarDB故障恢复机制:快速恢复与数据一致性保障
【6月更文挑战第29天】**PolarDB云原生数据库的故障恢复机制确保高可用性与数据一致性。利用ROW快照备份实现秒级备份,结合Redo Log进行时间点恢复。通过日志分析定位故障,快速启动备用实例恢复服务。分布式事务及强一致性读保证数据完整性。PolarDB的高效恢复策略是其在云数据库市场中的关键优势。**
81 16
|
4月前
|
消息中间件 缓存 关系型数据库
数据库和缓存如何保证一致性?
数据库和缓存如何保证一致性?
|
4月前
|
SQL 关系型数据库 MySQL
深入理解MySQL事务特性:保证数据完整性与一致性
深入理解MySQL事务特性:保证数据完整性与一致性
660 1
|
4月前
|
SQL 监控 调度
dts数据一致性保证
dts数据一致性保证
120 3
|
4月前
|
消息中间件 Java 数据库
面试题:如何保证三个数据库之间的数据一致性,如服务突然宕机
面试题:如何保证三个数据库之间的数据一致性,如服务突然宕机
75 0
|
4月前
|
消息中间件 缓存 中间件
如何保证缓存和数据库数据一致性
如何保证缓存和数据库数据一致性