MySQL:Innodb page clean 线程 (一): 基础篇

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

本文使用源码版本:Percona 5.7.14
本文约定
-协调工作线程:因为page clean线程的协调线程也会完成部分刷新工作,所以叫做协调工作线程。

一、page clean线程概念

Innodb中page clean线程将脏数据写入到磁盘,脏数据写盘后相应的redo就可以覆盖,然后达到redo循环使用的目的。在5.7中参数可以开启多个page clean线程服务于多个innodb buffer实例如下:

 
The innodb_page_cleaners default value was
changed from 1 to 4 in MySQL 5.7. If the number of page cleaner threads exceeds the number
of buffer pool instances, innodb_page_cleaners is automatically set to the same value as
innodb_buffer_pool_instances.

实际上在内部实现中如果page clean线程为4个那么包含一个协调工作线程和三个工作线程,这个协调工作线程也要完成一部分工作。在MySQL中我们可以通过语句查看到这些工作线程:

 
| 17 | 57982 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |
| 18 | 57983 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |
| 20 | 57985 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |
| 19 | 57984 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |

实际上在我浅析分析中发现,所有的工作线程都是不断轮询每一个和buffer instance对应的槽(slot),直到所有的buffer instance都已经进行了刷脏工作为止,并没有固定那个工作线程服务于那个buffer instance实例。

二、刷新方式

总的来说,page clean线程刷新的方式分为三种,如下:

1、 活跃刷新

一般来讲,我们线上的数据库一般都处于活跃状态,只要有DML/DDL等用到语句都会处于活跃状态,但是SELECT不包含在活跃状态下。

这种状态下刷新会开启一个协调工作线程和多个工作线程同时工作,这种状态其刷新的块数算法为(page_cleaner_flush_pages_recommendation函数):

 ●  (根据参数计算出来的页数量 +历史每秒刷新页的数量+根据target lsn计算出来的一个需要刷新的块数)/3

实际上这里需要关注的就是根据参数计算出来的页数量,算法大概如下(af_get_pct_for_dirty函数):

 
如果innodb_max_dirty_pages_pct_lwm没有开:
如果脏数据比率大于等于innodb_max_dirty_pages_pct的设置:
则返回100%
如果脏数据比率大于等于innodb_max_dirty_pages_pct_lwm:
如果innodb_max_dirty_pages_pct_lwm开启:
则返回(脏数据比率*100)/(innodb_max_dirty_pages_pct+1)这样一个百分比

我们计上面的百分比为A,除了百分比A还和innodb_adaptive_flushing、innodb_adaptive_flushing_lwm计算出来的百分比有关,我们记做B(af_get_pct_for_lsn函数计算),但是由于参数innodb_cleaner_lsn_age_factor默认设置为high_checkpoint,所以这个百分比比较小,具体算法见后文,其最后取值算法为:

根据参数计算出来的页数量 = MAX(A,B)*innodb_io_capacity

2、空闲刷新

一般情况下,除了活跃刷新就是空闲刷新,空闲的情况下因为服务器IO应该比较空闲,所以Innodb使用协调工作线程本身进行刷新,刷新的块数计算比较简单就是innodb_io_capacity设置的值。

3、 同步刷新

同步刷新则是堵塞刷新,所有需要写脏数据库的用户线程都会堵塞,这是很严重的情况。

在checkpoint的时候会检查或者DML语句执行过程中都会检查redo是否处于一个安全的位置,这是调用log_free_check函数进行,如果认为脏的块数太多,redo已经处于不安全的位置(log_checkpoint_margin),那么同步刷新会被唤醒。

关于这部分在源码部分还会提到。

三、关于一个警告

警告如下:

page_cleaner: 1000ms intended loop took **ms. The settings might not be optimal.((flushed="**" , during the time.)

实际上这个警告来自于两次刷新时间的检测:

 ●  本次刷新时间 - 上次刷新时间 > 1秒(睡眠时间)+3秒 则报警告

这个警告一般是IO能力不足,或者参数不够优化的结果,有了上面的基础我们知道这里应该做如下操作:

 ●  innodb_io_capacity 应该降低
 ●  innodb_max_dirty_pages_pct 应该降低
 ●  innodb_max_dirty_pages_pct_lwm 如果设置了应该考虑降低
 ●  innodb_io_capacity_max 考虑降低涉及到上面说的百分比B的计算(af_get_pct_for_lsn函数)

降低的目的在于减少每次刷新的量,让每次刷新块数更加平均。从而避免page clean 线程爆发性的刷新脏数据库,从而堵塞IO通道。如果慢慢调整后还是不行则考虑IO确实扛不住了。


原文发布时间为:2018-11-1

本文作者:重庆八怪

本文来自云栖社区合作伙伴“老叶茶馆”,了解相关信息可以关注“老叶茶馆”。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
6天前
|
存储 SQL 关系型数据库
MySQL底层概述—2.InnoDB磁盘结构
InnoDB磁盘结构主要包括表空间(Tablespaces)、数据字典(Data Dictionary)、双写缓冲区(Double Write Buffer)、重做日志(redo log)和撤销日志(undo log)。其中,表空间分为系统、独立、通用、Undo及临时表空间,分别用于存储不同类型的数据。数据字典从MySQL 8.0起不再依赖.frm文件,转而使用InnoDB引擎存储,支持事务原子性DDL操作。
158 100
MySQL底层概述—2.InnoDB磁盘结构
|
2天前
|
SQL 关系型数据库 MySQL
MySQL底层概述—10.InnoDB锁机制
本文介绍了:锁概述、锁分类、全局锁实战、表级锁(偏读)实战、行级锁升级表级锁实战、间隙锁实战、临键锁实战、幻读演示和解决、行级锁(偏写)优化建议、乐观锁实战、行锁原理分析、死锁与解决方案
MySQL底层概述—10.InnoDB锁机制
|
5天前
|
存储 缓存 关系型数据库
MySQL底层概述—5.InnoDB参数优化
本文介绍了MySQL数据库中与内存、日志和IO线程相关的参数优化,旨在提升数据库性能。主要内容包括: 1. 内存相关参数优化:缓冲池内存大小配置、配置多个Buffer Pool实例、Chunk大小配置、InnoDB缓存性能评估、Page管理相关参数、Change Buffer相关参数优化。 2. 日志相关参数优化:日志缓冲区配置、日志文件参数优化。 3. IO线程相关参数优化: 查询缓存参数、脏页刷盘参数、LRU链表参数、脏页刷盘相关参数。
MySQL底层概述—5.InnoDB参数优化
|
5天前
|
存储 SQL 关系型数据库
MySQL底层概述—4.InnoDB数据文件
本文介绍了InnoDB表空间文件结构及其组成部分,包括表空间、段、区、页和行。表空间是最高逻辑层,包含多个段;段由若干个区组成,每个区包含64个连续的页,页用于存储多条行记录。文章还详细解析了Page结构,分为通用部分(文件头与文件尾)、数据记录部分和页目录部分。此外,文中探讨了行记录格式,包括四种行格式(Redundant、Compact、Dynamic和Compressed),重点介绍了Compact行记录格式及其溢出机制。最后,文章解释了不同行格式的特点及应用场景,帮助理解InnoDB存储引擎的工作原理。
MySQL底层概述—4.InnoDB数据文件
|
5天前
|
存储 缓存 关系型数据库
MySQL底层概述—3.InnoDB线程模型
InnoDB存储引擎采用多线程模型,包含多个后台线程以处理不同任务。主要线程包括:IO Thread负责读写数据页和日志;Purge Thread回收已提交事务的undo日志;Page Cleaner Thread刷新脏页并清理redo日志;Master Thread调度其他线程,定时刷新脏页、回收undo日志、写入redo日志和合并写缓冲。各线程协同工作,确保数据一致性和高效性能。
MySQL底层概述—3.InnoDB线程模型
|
24天前
|
关系型数据库 MySQL 数据库连接
数据库连接工具连接mysql提示:“Host ‘172.23.0.1‘ is not allowed to connect to this MySQL server“
docker-compose部署mysql8服务后,连接时提示不允许连接问题解决
|
11天前
|
关系型数据库 MySQL 数据库
Docker Compose V2 安装常用数据库MySQL+Mongo
以上内容涵盖了使用 Docker Compose 安装和管理 MySQL 和 MongoDB 的详细步骤,希望对您有所帮助。
82 42
|
2天前
|
关系型数据库 MySQL 网络安全
如何排查和解决PHP连接数据库MYSQL失败写锁的问题
通过本文的介绍,您可以系统地了解如何排查和解决PHP连接MySQL数据库失败及写锁问题。通过检查配置、确保服务启动、调整防火墙设置和用户权限,以及识别和解决长时间运行的事务和死锁问题,可以有效地保障应用的稳定运行。
40 25
|
28天前
|
缓存 关系型数据库 MySQL
【深入了解MySQL】优化查询性能与数据库设计的深度总结
本文详细介绍了MySQL查询优化和数据库设计技巧,涵盖基础优化、高级技巧及性能监控。
229 0
|
2月前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
73 3