MySQL的并行复制,从5.6开始,经过几代的改进,终于在性能上有了不小的提升。
- MySQL 5.6
该版本开始提供并行复制功能,但是5.6的并行复制是schema级别的,所以只有binlog的row event操作的是不同的schema对象,且没有DDL和Foreign Key依赖的情况下,才能实现并行复制。由于单schema的情况实际上是很常见的,所以这并不是真正意义上的并行复制。
如上图所示,5.6的并行复制由Coordinator判断event的schema,并把不同schema的event提交到不同的worker上实现并行复制。
- MySQL 5.7
开始,并行复制使用了“组提交(Group Commit)”的方法实现,即是说5.7的并行复制打破了5.6并行复制不能在单个schema的限制,5.7可以基于主库上事务的提交顺序,在从库上回放。也就是说,如果两个事务不会相互影响,在主库可以同时提交刷盘,从库复制时也就可以同时提交。通过设置binlog_group_commit_sync_delay参数,可以延长主库commit时日志刷盘前等待的时间(会影响主库写入性能),从而使更多不会冲突的事务可以作为组提交,从而提高从库的复制效率。虽然5.7的这种方式算得上是真正的并行复制了,但是由于依赖主库上并行,从库才能并行,假如主库上并发不高,从库上就只能“线性”复制了。
- MySQL 8.0
MySQL 8.0新增参数binlog_transaction_dependency_tracking,可以配置为基于5.7的并行复制COMMIT_ORDER,并较5.7新添加了WRITESET或WRITESET_SESSION模式(WRITESET跟WRITESET_SESSION的区别就是,WRITESET_SESSION 需要保证同一个会话内的事务的先后顺序),即事务在提交时,会影响的行的主键、唯一键、外键等信息以 HASH(DB名,TABLE名,KEY名称,KEY_VALUE1, KEY_VALUE2,.....) 加入到当前事务的 WRITESET中,在复制之前,只需要检测WRITESET是否有并集,即可知道事务是否可以并行回放。
如图,在主库的并发情况如下时
在WRITESET开启后,备库的复制将会如下图的方式并行执行
- 性能对比(COMMIT_ORDER & WRITESET & WRITESET_SESSION)
首先准备3对主从复制的副本集,binlog_transaction_dependency_tracking分别配置为COMMIT_ORDER、WRITESET、WRITESET_SESSION。
使用sysbench的oltp并发操作数据库的主库:
mysqladmin create sbtest
sysbench --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password= \
--test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --oltp_tables_count=2 --oltp-table-size=10000000 --rand-init=on prepare
sysbench --mysql-host=127.0.0.1 --mysql-port=3306 --mysql-user=root --mysql-password= \
--test=/usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --oltp_tables_count=2 \
--oltp-table-size=10000000 --num-threads=100 --oltp-read-only=off \
--report-interval=10 --rand-type=uniform --max-time=120 \
--max-requests=0 --percentile=99 run
同时使用mysqladmin分别在主库、从库执行,可以看到主库、从库上的并发和负载情况,下面的命令将会每隔1秒输出3列数据,分别为:正在执行请求数,当前连接数,正在运行线程数
(mysqladmin ext -i1 | awk '/Queries/{q=$4-qp;qp=$4}/Threads_connected/{tc=$4}/Threads_running/{printf "%5d %5d %5d\n", q, tc, $4}')
通过性能测试不难发现,MySQL 8.0 WRITESET_SESSION模式在单线程时和COMMIT_ORDER模式差距不大,但随着线程数增加,WRITESET_SESSION优势很明显,而WRITESET在线程较少时,性能上有了质的飞跃。但随着线程数的增加,各种方式性能趋近于相同。
MySQL 8.0 现已登陆 云数据库 RDS版,如有需要,可在阿里云控制台云购买使用!
(本文图片来源于网络)
参考文献:https://mysqlhighavailability.com/improving-the-parallel-applier-with-writeset-based-dependency-tracking/