MySQL备份锁

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介:    无论逻辑备份还是物理备份,为了获取一致性位点,都强依赖于FTWRL(FlushTableWithReadLock)。这个锁杀伤力非常大,因为持有锁的这段时间,整个数据库实质上不能对外提供写服务的。

 

 无论逻辑备份还是物理备份,为了获取一致性位点,都强依赖于FTWRL(FlushTableWithReadLock)。这个锁杀伤力非常大,因为持有锁的这段时间,整个数据库实质上不能对外提供写服务的。此外,由于FTWRL需要关闭表,如有大查询,会导致FTWRL等待,进而导致DML堵塞的时间变长。即使是备库,也有SQL线程在复制来源于主库的更新,上全局锁时,会导致主备库延迟。FTWRL这把锁持有的时间主要与非innodb表的数据量有关,如果非innodb表数据量很大,备份很慢,那么持有锁的时间就会很长。即使全部是innodb表,也会因为有mysql库系统表存在,导致会锁一定的时间。为了解决这个问题,Percona公司对Mysql的Server层做了改进,引入了BACKUPLOCK,具体而言,通过"LOCKTABLESFORBACKUP"命令来获取一致性数据(包括非innodb表);通过"LOCKBINLOGFORBACKUP"来获取一致性位点,尽量减少因为数据库备份带来的服务受损,我们将这一特性引入到AliSQL,下面详细介绍这个特性。

  功能介绍

  在MysqlServer层新增2种类型MDL全局范围锁,backup-lock和binlog-lock,并新增了3种语法:

  1.LOCKTABLESFORBACKUP,执行语句申请backup-lock的共享锁,通过unlocktables释放锁。

  2.LOCKBINLOGFORBACKUP,执行语句申请binlog-lock的共享锁,通过unlockbinlog释放锁。

  3.UNLOCKBINLOG,释放LOCKBINLOGFORBACKUP持有的锁。

  对于backup-lock:

  已经持有locktableforbackup后,如果在本会话执行更新操作(非innodb表),会报错;如果在其它会话执行更新操作,会等待。showprocesslit可以看到会话处于"Waitingforbackuplock"状态。

  对于binlog-lock:

  已经持有lockbinlogforbackup后,如果本会话执行更新操作,不会报错,因为不会堵塞会话;如果其它会话执行,则会等待。showprocesslist可以看到会话处于"Waitingforbinloglock"状态。

  下面介绍具体的原理和相关接口的实现

  A:备份操作

  申请backup-lock,持有(backup,MDL_SHARED,MDL_EXPLICIT)锁

  B:库的DDL操作

  调用lock_schema_name加库对象锁(修改库操作,schema_lock)

  接口(mysql_create_db,mysql_alter_db,mysql_rm_db,mysql_upgrade_db等)

  1.如果已经持有全局锁(backup,global),则报错。

  2.加库的排它锁(SCHEMA,MDL_EXCLUSIVE,MDL_TRANSACTION)

  3.申请IX范围锁,避免后续的global和backuplock进来

  (global,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

  (backup,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

  C:表的DDL操作

  调用lock_table_names加表对象锁(修改表操作)

  接口(mysql_rename_tables,mysql_rm_table,mysql_drop_view,truncate_table等)

  1.加表对象锁(TABLE,MDL_EXCLUSIVE,MDL_TRANSACTION)

  2.加上对应schema的对象锁(SCHEMA,MDL_INTENTION_EXCLUSIVE,MDL_TRANSACTION),避免库的ddl操作。

  3.如果已经持有全局锁(backup,global),则报错。

  4.申请IX范围锁,避免后续的global和backuplock进来

  (global,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

  (backup,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

  D:表的DML操作

  调用acquire_protection来申请IX范围锁

  接口open_table

  这里只针对非innodb引擎,且是写操作的表

  mdl_request.type>=MDL_SHARED_WRITE&&share->db_type()->flags&HTON_SUPPORTS_ONLINE_BACKUPS

  引入备份锁的优势

  LOCKTABLESFORBACKUP

  作用:获取一致性数据

  1.禁止非innodb表更新

  2.禁止所有表的ddl

  优化点:

  1.不会被大查询堵塞(没有flushtables导致关闭表操作)

  2.不会堵塞innodb表的读取和更新,这点非常重要,对于业务表全部是并innodb的情况,则备份过程中DML完全不受损

  LOCKBINLOGFORBACKUP

  作用:获取一致性位点。

  1.禁止对位点更新的操作

  优化点:

  1.允许DDl和更新,直到写binlog为止。

  UNLOCKBINLOG

  物理备份流程变化

  修改前:

  1.getredo-lsn

  2.copyInnoDBdata

  3.FLUSHTABLESWITHREADLOCK;

  4.copy.frm,MyISAM,etc.

  5.getthebinarylogcoordinates

  6.finalizethebackgroundcopyofREDOlog

  7.UNLOCKTABLES;

  修改后:

  1.getredo-lsn

  2.copyInnoDBdata

  3.LOCKTABLESFORBACKUP;

  4.copy.frm,MyISAM,etc

  5.LOCKBINLOGFORBACKUP;

  6.finalizethebackgroundcopyofREDOlog

  7.UNLOCKTABLES;

  8.getthebinarylogcoordinates

  9.UNLOCKBINLOG;

  对应的Xtrabackup工具在执行命令流程需要相应的改动。

  功能限制

  1.对于Myisam表,当delay_key_write=ALL时,索引并没有及时刷盘,导致xtrabackup无法获取一致的备份,因此在这种情况下,加backup-lock失败。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
存储 关系型数据库 MySQL
mysql数据库备份与恢复
MySQL数据库的备份与恢复是确保数据安全性和业务连续性的关键操作。
62 4
|
19天前
|
SQL 关系型数据库 MySQL
MySQL 锁
MySQL里常见的几种锁
43 3
|
9天前
|
存储 关系型数据库 MySQL
优化 MySQL 的锁机制以提高并发性能
【10月更文挑战第16天】优化 MySQL 锁机制需要综合考虑多个因素,根据具体的应用场景和需求进行针对性的调整。通过不断地优化和改进,可以提高数据库的并发性能,提升系统的整体效率。
16 1
|
24天前
|
安全 关系型数据库 MySQL
MySQL用户备份
【10月更文挑战第2天】MySQL用户备份
46 3
|
24天前
|
存储 关系型数据库 MySQL
MySQL如何备份?
【10月更文挑战第2天】MySQL如何备份?
50 3
|
25天前
|
关系型数据库 MySQL Java
MySQL数据锁:Record Lock,Gap Lock 和 Next-Key Lock
本文基于 MySQL 8.0.30 版本及 InnoDB 引擎,深入解析三种行锁机制:记录锁(Record Lock)、间隙锁(Gap Lock)和临键锁(Next-key Lock)。记录锁锁定索引记录,确保事务唯一修改;间隙锁锁定索引间的间隙,防止新记录插入;临键锁结合两者,锁定范围并记录自身,有效避免幻读现象。通过具体示例展示了不同锁的作用机制及其在并发控制中的应用。
53 2
|
25天前
|
存储 关系型数据库 MySQL
MySQL数据库锁:共享锁和独占锁
本文详细介绍了`InnoDB`存储引擎中的两种行级别锁:共享锁(S锁)与排他锁(X锁)。通过具体示例展示了这两种锁的工作机制及其在`InnoDB`与`MyISAM`引擎中的表现差异。文章还提供了锁的兼容性矩阵,帮助读者更好地理解锁之间的互斥关系。最后总结了两种锁的特点及适用场景。适合希望深入了解`MySQL`并发控制机制的读者阅读。
11 1
|
9天前
|
存储 关系型数据库 MySQL
MySQL锁,锁的到底是什么?
【10月更文挑战第16天】MySQL 锁锁定的是与数据和资源相关的对象,其目的是为了保证数据的一致性、避免冲突,并在并发环境下合理协调事务或操作的执行。理解锁的对象和意义对于优化数据库性能、处理并发问题至关重要。
37 0
|
2月前
|
监控 关系型数据库 MySQL
MySQL锁机制与解决死锁问题
MySQL锁机制与解决死锁问题
181 5
|
12天前
|
关系型数据库 MySQL 数据库
mysql锁详解
通过理解并合理运用MySQL中的锁机制,开发者可以有效管理数据库并发访问,平衡性能与数据一致性需求。更多关于MySQL锁的深入探讨和最佳实践,请参考专业的数据库管理资源[[深入MySQL锁机制详解
25 0