MySQL备份锁

简介:    无论逻辑备份还是物理备份,为了获取一致性位点,都强依赖于FTWRL(FlushTableWithReadLock)。这个锁杀伤力非常大,因为持有锁的这段时间,整个数据库实质上不能对外提供写服务的。

 

 无论逻辑备份还是物理备份,为了获取一致性位点,都强依赖于FTWRL(FlushTableWithReadLock)。这个锁杀伤力非常大,因为持有锁的这段时间,整个数据库实质上不能对外提供写服务的。此外,由于FTWRL需要关闭表,如有大查询,会导致FTWRL等待,进而导致DML堵塞的时间变长。即使是备库,也有SQL线程在复制来源于主库的更新,上全局锁时,会导致主备库延迟。FTWRL这把锁持有的时间主要与非innodb表的数据量有关,如果非innodb表数据量很大,备份很慢,那么持有锁的时间就会很长。即使全部是innodb表,也会因为有mysql库系统表存在,导致会锁一定的时间。为了解决这个问题,Percona公司对Mysql的Server层做了改进,引入了BACKUPLOCK,具体而言,通过"LOCKTABLESFORBACKUP"命令来获取一致性数据(包括非innodb表);通过"LOCKBINLOGFORBACKUP"来获取一致性位点,尽量减少因为数据库备份带来的服务受损,我们将这一特性引入到AliSQL,下面详细介绍这个特性。

  功能介绍

  在MysqlServer层新增2种类型MDL全局范围锁,backup-lock和binlog-lock,并新增了3种语法:

  1.LOCKTABLESFORBACKUP,执行语句申请backup-lock的共享锁,通过unlocktables释放锁。

  2.LOCKBINLOGFORBACKUP,执行语句申请binlog-lock的共享锁,通过unlockbinlog释放锁。

  3.UNLOCKBINLOG,释放LOCKBINLOGFORBACKUP持有的锁。

  对于backup-lock:

  已经持有locktableforbackup后,如果在本会话执行更新操作(非innodb表),会报错;如果在其它会话执行更新操作,会等待。showprocesslit可以看到会话处于"Waitingforbackuplock"状态。

  对于binlog-lock:

  已经持有lockbinlogforbackup后,如果本会话执行更新操作,不会报错,因为不会堵塞会话;如果其它会话执行,则会等待。showprocesslist可以看到会话处于"Waitingforbinloglock"状态。

  下面介绍具体的原理和相关接口的实现

  A:备份操作

  申请backup-lock,持有(backup,MDL_SHARED,MDL_EXPLICIT)锁

  B:库的DDL操作

  调用lock_schema_name加库对象锁(修改库操作,schema_lock)

  接口(mysql_create_db,mysql_alter_db,mysql_rm_db,mysql_upgrade_db等)

  1.如果已经持有全局锁(backup,global),则报错。

  2.加库的排它锁(SCHEMA,MDL_EXCLUSIVE,MDL_TRANSACTION)

  3.申请IX范围锁,避免后续的global和backuplock进来

  (global,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

  (backup,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

  C:表的DDL操作

  调用lock_table_names加表对象锁(修改表操作)

  接口(mysql_rename_tables,mysql_rm_table,mysql_drop_view,truncate_table等)

  1.加表对象锁(TABLE,MDL_EXCLUSIVE,MDL_TRANSACTION)

  2.加上对应schema的对象锁(SCHEMA,MDL_INTENTION_EXCLUSIVE,MDL_TRANSACTION),避免库的ddl操作。

  3.如果已经持有全局锁(backup,global),则报错。

  4.申请IX范围锁,避免后续的global和backuplock进来

  (global,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

  (backup,MDL_INTENTION_EXCLUSIVE,MDL_STATEMENT)

  D:表的DML操作

  调用acquire_protection来申请IX范围锁

  接口open_table

  这里只针对非innodb引擎,且是写操作的表

  mdl_request.type>=MDL_SHARED_WRITE&&share->db_type()->flags&HTON_SUPPORTS_ONLINE_BACKUPS

  引入备份锁的优势

  LOCKTABLESFORBACKUP

  作用:获取一致性数据

  1.禁止非innodb表更新

  2.禁止所有表的ddl

  优化点:

  1.不会被大查询堵塞(没有flushtables导致关闭表操作)

  2.不会堵塞innodb表的读取和更新,这点非常重要,对于业务表全部是并innodb的情况,则备份过程中DML完全不受损

  LOCKBINLOGFORBACKUP

  作用:获取一致性位点。

  1.禁止对位点更新的操作

  优化点:

  1.允许DDl和更新,直到写binlog为止。

  UNLOCKBINLOG

  物理备份流程变化

  修改前:

  1.getredo-lsn

  2.copyInnoDBdata

  3.FLUSHTABLESWITHREADLOCK;

  4.copy.frm,MyISAM,etc.

  5.getthebinarylogcoordinates

  6.finalizethebackgroundcopyofREDOlog

  7.UNLOCKTABLES;

  修改后:

  1.getredo-lsn

  2.copyInnoDBdata

  3.LOCKTABLESFORBACKUP;

  4.copy.frm,MyISAM,etc

  5.LOCKBINLOGFORBACKUP;

  6.finalizethebackgroundcopyofREDOlog

  7.UNLOCKTABLES;

  8.getthebinarylogcoordinates

  9.UNLOCKBINLOG;

  对应的Xtrabackup工具在执行命令流程需要相应的改动。

  功能限制

  1.对于Myisam表,当delay_key_write=ALL时,索引并没有及时刷盘,导致xtrabackup无法获取一致的备份,因此在这种情况下,加backup-lock失败。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
7月前
|
SQL AliSQL 关系型数据库
MYSQL的全局锁和表锁
本文介绍了MySQL中的锁机制,包括全局锁、表级锁及其应用场景。全局锁通过`Flush tables with read lock (FTWRL)`实现,主要用于全库逻辑备份,但会阻塞更新和结构变更操作。表级锁分为显式表锁(`lock tables`)和元数据锁(MDL),前者用于控制并发访问,后者自动加锁以确保读写正确性。文章还探讨了如何安全地为小表添加字段,建议通过设置DDL等待时间或使用MariaDB/AliSQL的NOWAIT/WAIT功能避免业务阻塞。这些方法有助于在高并发场景下优化数据库性能与安全性。
193 0
|
4月前
|
存储 关系型数据库 MySQL
在CentOS 8.x上安装Percona Xtrabackup工具备份MySQL数据步骤。
以上就是在CentOS8.x上通过Perconaxtabbackup工具对Mysql进行高效率、高可靠性、无锁定影响地实现在线快速全量及增加式数据库资料保存与恢复流程。通过以上流程可以有效地将Mysql相关资料按需求完成定期或不定期地保存与灾难恢复需求。
382 10
|
9月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
6月前
|
存储 关系型数据库 MySQL
【赵渝强老师】使用select...into outfile语句备份MySQL
本文介绍了MySQL中使用`SELECT...INTO OUTFILE`语句将表数据导出为文本文件的方法。通过示例演示了如何备份员工表(emp)的数据,包括创建存储目录、设置权限、配置参数`secure_file_priv`以及解决相关错误的过程。字段分隔符和行终止符可自定义,确保数据格式符合需求。最后展示了备份文件的内容,验证操作成功。
456 36
|
6月前
|
存储 SQL 关系型数据库
【赵渝强老师】使用mysqldump备份MySQL
本文介绍了 MySQL 自带的逻辑备份工具 mysqldump 的使用方法。通过 mysqldump,可以将数据库中的数据转换为对应的 SQL 插入语句,便于备份和还原。文章详细说明了如何备份所有数据库、指定数据库及特定表,排除某些表不备份的操作,以及删除数据库后如何通过备份文件恢复数据。同时提供了视频讲解和具体命令示例,帮助用户更好地理解和应用该工具。
331 5
|
6月前
|
存储 SQL 关系型数据库
【赵渝强老师】使用mydumper备份MySQL
本文介绍了使用mydumper工具进行MySQL数据库备份与恢复的操作方法。相比单线程工作的mysqldump,mydumper支持多线程,速度提升可达10倍。其功能包括事务性表快照、快速压缩、导出binlog等,并提供详细的参数说明和操作步骤。文章通过实例演示了安装mydumper、创建存储目录、全库备份、指定数据库及表备份、删除数据库以及使用myloader恢复数据的完整流程,并附带视频讲解,帮助用户更好地理解和应用该工具。
333 0
|
8月前
|
关系型数据库 MySQL Linux
在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾
以上就是在Linux环境下备份Docker中的MySQL数据并传输到其他服务器以实现数据级别的容灾的步骤。这个过程就像是一场接力赛,数据从MySQL数据库中接力棒一样传递到备份文件,再从备份文件传递到其他服务器,最后再传递回MySQL数据库。这样,即使在灾难发生时,我们也可以快速恢复数据,保证业务的正常运行。
392 28
|
8月前
|
存储 关系型数据库 MySQL
利用Cron表达式实现MySQL数据库的定时备份
以上就是如何使用Cron表达式和mysqldump命令实现MySQL数据库的定时备份。这种方法的优点是简单易用,而且可以根据需要定制备份的时间和频率。但是,它也有一些限制,例如,它不能备份MySQL服务器的配置文件和用户账户信息,也不能实现增量备份。如果需要更复杂的备份策略,可能需要使用专门的备份工具或服务。
214 15
|
10月前
|
关系型数据库 MySQL 网络安全
如何排查和解决PHP连接数据库MYSQL失败写锁的问题
通过本文的介绍,您可以系统地了解如何排查和解决PHP连接MySQL数据库失败及写锁问题。通过检查配置、确保服务启动、调整防火墙设置和用户权限,以及识别和解决长时间运行的事务和死锁问题,可以有效地保障应用的稳定运行。
410 25
|
11月前
|
存储 关系型数据库 MySQL
MySQL进阶突击系列(06)MySQL有几种锁?| 别背答案,现场演示一下
本文详细解析了MySQL InnoDB存储引擎的锁机制,涵盖读锁、写锁、意向锁、记录锁、间隙锁和临键锁等8种锁类型。重点探讨了不同锁类型的加锁与释放方式,以及事务并发场景下的实战验证。通过具体示例,展示了在不同情况下锁的行为及其对事务的影响。文章还特别强调了锁的作用范围主要是索引,并解释了锁如何影响数据的读写操作。最后总结了并发事务中加锁规则,帮助读者深入理解MySQL的锁机制。