MySQL 8.0 主从复制性能提升

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 Tair(兼容Redis),内存型 2GB
简介: MySQL的并行复制,从5.6开始,经过几代的改进,终于在性能上有了不小的提升。 * MySQL 5.6 该版本开始提供并行复制功能,但是5.6的并行复制是schema级别的,所以只有binlog的row event操作的是不同的schema对象,且没有DDL和Foreign Key依赖的情况下,才能实现并行复制。

MySQL的并行复制,从5.6开始,经过几代的改进,终于在性能上有了不小的提升。

  • MySQL 5.6
    该版本开始提供并行复制功能,但是5.6的并行复制是schema级别的,所以只有binlog的row event操作的是不同的schema对象,且没有DDL和Foreign Key依赖的情况下,才能实现并行复制。由于单schema的情况实际上是很常见的,所以这并不是真正意义上的并行复制。

image.png
如上图所示,5.6的并行复制由Coordinator判断event的schema,并把不同schema的event提交到不同的worker上实现并行复制。

  • MySQL 5.7
    开始,并行复制使用了“组提交(Group Commit)”的方法实现,即是说5.7的并行复制打破了5.6并行复制不能在单个schema的限制,5.7可以基于主库上事务的提交顺序,在从库上回放。也就是说,如果两个事务不会相互影响,在主库可以同时提交刷盘,从库复制时也就可以同时提交。通过设置binlog_group_commit_sync_delay参数,可以延长主库commit时日志刷盘前等待的时间(会影响主库写入性能),从而使更多不会冲突的事务可以作为组提交,从而提高从库的复制效率。虽然5.7的这种方式算得上是真正的并行复制了,但是由于依赖主库上并行,从库才能并行,假如主库上并发不高,从库上就只能“线性”复制了。

image.png

  • MySQL 8.0
    MySQL 8.0新增参数binlog_transaction_dependency_tracking,可以配置为基于5.7的并行复制COMMIT_ORDER,并较5.7新添加了WRITESET或WRITESET_SESSION模式(WRITESET跟WRITESET_SESSION的区别就是,WRITESET_SESSION 需要保证同一个会话内的事务的先后顺序),即事务在提交时,会影响的行的主键、唯一键、外键等信息以 HASH(DB名,TABLE名,KEY名称,KEY_VALUE1, KEY_VALUE2,.....) 加入到当前事务的 WRITESET中,在复制之前,只需要检测WRITESET是否有并集,即可知道事务是否可以并行回放。

如图,在主库的并发情况如下时
image.png
在WRITESET开启后,备库的复制将会如下图的方式并行执行
image.png

  • 性能对比(COMMIT_ORDER & WRITESET & WRITESET_SESSION)
    首先准备3对主从复制的副本集,binlog_transaction_dependency_tracking分别配置为COMMIT_ORDER、WRITESET、WRITESET_SESSION。

使用sysbench的oltp并发操作数据库的主库:

mysqladmin create sbtest
sysbench --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password= \
 --test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --oltp_tables_count=2 --oltp-table-size=10000000 --rand-init=on prepare
 
sysbench --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password= \
--test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --oltp_tables_count=2 \
--oltp-table-size=10000000 --num-threads=100 --oltp-read-only=off \
--report-interval=10 --rand-type=uniform --max-time=120 \
 --max-requests=0 --percentile=99 run

同时使用mysqladmin分别在主库、从库执行,可以看到主库、从库上的并发和负载情况,下面的命令将会每隔1秒输出3列数据,分别为:正在执行请求数,当前连接数,正在运行线程数

(mysqladmin ext -i1 | awk '/Queries/{q=$4-qp;qp=$4}/Threads_connected/{tc=$4}/Threads_running/{printf "%5d %5d %5d\n", q, tc, $4}')

通过性能测试不难发现,MySQL 8.0 WRITESET_SESSION模式在单线程时和COMMIT_ORDER模式差距不大,但随着线程数增加,WRITESET_SESSION优势很明显,而WRITESET在线程较少时,性能上有了质的飞跃。但随着线程数的增加,各种方式性能趋近于相同。
image.png

MySQL 8.0 现已登陆 云数据库 RDS版,如有需要,可在阿里云控制台云购买使用!
(本文图片来源于网络)
参考文献:https://mysqlhighavailability.com/improving-the-parallel-applier-with-writeset-based-dependency-tracking/

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
30天前
|
SQL 关系型数据库 MySQL
mysql主从复制概述和配置
【10月更文挑战第22天】MySQL 主从复制是一种将主服务器的数据复制到一个或多个从服务器的技术,实现读写分离,提高系统性能和可用性。主服务器记录变更日志,从服务器通过 I/O 和 SQL 线程读取并应用这些变更。适用于读写分离、数据备份和恢复、数据分析等场景。配置步骤包括修改配置文件、创建复制用户、配置从服务器连接主服务器并启动复制进程。
|
1月前
|
存储 关系型数据库 MySQL
提高MySQL查询性能的方法有很多
提高MySQL查询性能的方法有很多
159 7
|
1月前
|
监控 关系型数据库 MySQL
深入了解MySQL主从复制:构建高效稳定的数据同步架构
深入了解MySQL主从复制:构建高效稳定的数据同步架构
120 1
|
1月前
|
存储 关系型数据库 MySQL
提高MySQL的查询性能
提高MySQL的查询性能
69 4
|
25天前
|
存储 关系型数据库 MySQL
MySQL主从复制原理和使用
本文介绍了MySQL主从复制的基本概念、原理及其实现方法,详细讲解了一主两从的架构设计,以及三种常见的复制模式(全同步、异步、半同步)的特点与适用场景。此外,文章还提供了Spring Boot环境下配置主从复制的具体代码示例,包括数据源配置、上下文切换、路由实现及切面编程等内容,帮助读者理解如何在实际项目中实现数据库的读写分离。
MySQL主从复制原理和使用
|
16天前
|
缓存 监控 关系型数据库
如何根据监控结果调整 MySQL 数据库的参数以提高性能?
【10月更文挑战第28天】根据MySQL数据库的监控结果来调整参数以提高性能,需要综合考虑多个方面的因素
55 1
|
16天前
|
监控 关系型数据库 MySQL
如何监控和诊断 MySQL 数据库的性能问题?
【10月更文挑战第28天】监控和诊断MySQL数据库的性能问题是确保数据库高效稳定运行的关键
35 1
|
16天前
|
缓存 关系型数据库 MySQL
如何优化 MySQL 数据库的性能?
【10月更文挑战第28天】
38 1
|
18天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
85 1
|
24天前
|
SQL 关系型数据库 MySQL
Mysql中搭建主从复制原理和配置
主从复制在数据库管理中广泛应用,主要优点包括提高性能、实现高可用性、数据备份及灾难恢复。通过读写分离、从服务器接管、实时备份和地理分布等机制,有效增强系统的稳定性和数据安全性。主从复制涉及I/O线程和SQL线程,前者负责日志传输,后者负责日志应用,确保数据同步。配置过程中需开启二进制日志、设置唯一服务器ID,并创建复制用户,通过CHANGE MASTER TO命令配置从服务器连接主服务器,实现数据同步。实验部分展示了如何在两台CentOS 7服务器上配置MySQL 5.7主从复制,包括关闭防火墙、配置静态IP、设置域名解析、配置主从服务器、启动复制及验证同步效果。
Mysql中搭建主从复制原理和配置

相关产品

  • 云数据库 RDS MySQL 版