MySQL:Innodb page clean 线程 (一): 基础篇

本文涉及的产品
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介:

本文使用源码版本:Percona 5.7.14
本文约定
-协调工作线程:因为page clean线程的协调线程也会完成部分刷新工作,所以叫做协调工作线程。

一、page clean线程概念

Innodb中page clean线程将脏数据写入到磁盘,脏数据写盘后相应的redo就可以覆盖,然后达到redo循环使用的目的。在5.7中参数可以开启多个page clean线程服务于多个innodb buffer实例如下:

 
The innodb_page_cleaners default value was
changed from 1 to 4 in MySQL 5.7. If the number of page cleaner threads exceeds the number
of buffer pool instances, innodb_page_cleaners is automatically set to the same value as
innodb_buffer_pool_instances.

实际上在内部实现中如果page clean线程为4个那么包含一个协调工作线程和三个工作线程,这个协调工作线程也要完成一部分工作。在MySQL中我们可以通过语句查看到这些工作线程:

 
| 17 | 57982 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |
| 18 | 57983 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |
| 20 | 57985 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |
| 19 | 57984 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |

实际上在我浅析分析中发现,所有的工作线程都是不断轮询每一个和buffer instance对应的槽(slot),直到所有的buffer instance都已经进行了刷脏工作为止,并没有固定那个工作线程服务于那个buffer instance实例。

二、刷新方式

总的来说,page clean线程刷新的方式分为三种,如下:

1、 活跃刷新

一般来讲,我们线上的数据库一般都处于活跃状态,只要有DML/DDL等用到语句都会处于活跃状态,但是SELECT不包含在活跃状态下。

这种状态下刷新会开启一个协调工作线程和多个工作线程同时工作,这种状态其刷新的块数算法为(page_cleaner_flush_pages_recommendation函数):

 ●  (根据参数计算出来的页数量 +历史每秒刷新页的数量+根据target lsn计算出来的一个需要刷新的块数)/3

实际上这里需要关注的就是根据参数计算出来的页数量,算法大概如下(af_get_pct_for_dirty函数):

 
如果innodb_max_dirty_pages_pct_lwm没有开:
如果脏数据比率大于等于innodb_max_dirty_pages_pct的设置:
则返回100%
如果脏数据比率大于等于innodb_max_dirty_pages_pct_lwm:
如果innodb_max_dirty_pages_pct_lwm开启:
则返回(脏数据比率*100)/(innodb_max_dirty_pages_pct+1)这样一个百分比

我们计上面的百分比为A,除了百分比A还和innodb_adaptive_flushing、innodb_adaptive_flushing_lwm计算出来的百分比有关,我们记做B(af_get_pct_for_lsn函数计算),但是由于参数innodb_cleaner_lsn_age_factor默认设置为high_checkpoint,所以这个百分比比较小,具体算法见后文,其最后取值算法为:

根据参数计算出来的页数量 = MAX(A,B)*innodb_io_capacity

2、空闲刷新

一般情况下,除了活跃刷新就是空闲刷新,空闲的情况下因为服务器IO应该比较空闲,所以Innodb使用协调工作线程本身进行刷新,刷新的块数计算比较简单就是innodb_io_capacity设置的值。

3、 同步刷新

同步刷新则是堵塞刷新,所有需要写脏数据库的用户线程都会堵塞,这是很严重的情况。

在checkpoint的时候会检查或者DML语句执行过程中都会检查redo是否处于一个安全的位置,这是调用log_free_check函数进行,如果认为脏的块数太多,redo已经处于不安全的位置(log_checkpoint_margin),那么同步刷新会被唤醒。

关于这部分在源码部分还会提到。

三、关于一个警告

警告如下:

page_cleaner: 1000ms intended loop took **ms. The settings might not be optimal.((flushed="**" , during the time.)

实际上这个警告来自于两次刷新时间的检测:

 ●  本次刷新时间 - 上次刷新时间 > 1秒(睡眠时间)+3秒 则报警告

这个警告一般是IO能力不足,或者参数不够优化的结果,有了上面的基础我们知道这里应该做如下操作:

 ●  innodb_io_capacity 应该降低
 ●  innodb_max_dirty_pages_pct 应该降低
 ●  innodb_max_dirty_pages_pct_lwm 如果设置了应该考虑降低
 ●  innodb_io_capacity_max 考虑降低涉及到上面说的百分比B的计算(af_get_pct_for_lsn函数)

降低的目的在于减少每次刷新的量,让每次刷新块数更加平均。从而避免page clean 线程爆发性的刷新脏数据库,从而堵塞IO通道。如果慢慢调整后还是不行则考虑IO确实扛不住了。


原文发布时间为:2018-11-1

本文作者:重庆八怪

本文来自云栖社区合作伙伴“老叶茶馆”,了解相关信息可以关注“老叶茶馆”。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
存储 网络协议 关系型数据库
MySQL8.4创建keyring给InnoDB表进行静态数据加密
MySQL8.4创建keyring给InnoDB表进行静态数据加密
467 1
|
7月前
|
存储 关系型数据库 MySQL
介绍MySQL的InnoDB引擎特性
总结而言 , Inno DB 引搞 是 MySQL 中 高 性 能 , 高 可靠 的 存 储选项 , 宽泛 应用于要求强 复杂交易处理场景 。
314 15
|
存储 缓存 关系型数据库
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
MySQL的存储引擎是其核心组件之一,负责数据的存储、索引和检索。不同的存储引擎具有不同的功能和特性,可以根据业务需求 选择合适的引擎。本文详细介绍了MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案。
2296 57
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
|
12月前
|
SQL 缓存 关系型数据库
使用温InnoDB缓冲池启动MySQL测试
使用温InnoDB缓冲池启动MySQL测试
231 0
|
9月前
|
Java API 微服务
为什么虚拟线程将改变Java并发编程?
为什么虚拟线程将改变Java并发编程?
419 83
|
6月前
|
Java
如何在Java中进行多线程编程
Java多线程编程常用方式包括:继承Thread类、实现Runnable接口、Callable接口(可返回结果)及使用线程池。推荐线程池以提升性能,避免频繁创建线程。结合同步与通信机制,可有效管理并发任务。
273 6
|
11月前
|
机器学习/深度学习 消息中间件 存储
【高薪程序员必看】万字长文拆解Java并发编程!(9-2):并发工具-线程池
🌟 ​大家好,我是摘星!​ 🌟今天为大家带来的是并发编程中的强力并发工具-线程池,废话不多说让我们直接开始。
408 0
|
7月前
|
算法 Java
Java多线程编程:实现线程间数据共享机制
以上就是Java中几种主要处理多线程序列化资源以及协调各自独立运行但需相互配合以完成任务threads 的技术手段与策略。正确应用上述技术将大大增强你程序稳定性与效率同时也降低bug出现率因此深刻理解每项技术背后理论至关重要.
497 16
|
6月前
|
Java 调度 数据库
Python threading模块:多线程编程的实战指南
本文深入讲解Python多线程编程,涵盖threading模块的核心用法:线程创建、生命周期、同步机制(锁、信号量、条件变量)、线程通信(队列)、守护线程与线程池应用。结合实战案例,如多线程下载器,帮助开发者提升程序并发性能,适用于I/O密集型任务处理。
673 0
|
Linux
Linux编程: 在业务线程中注册和处理Linux信号
通过本文,您可以了解如何在业务线程中注册和处理Linux信号。正确处理信号可以提高程序的健壮性和稳定性。希望这些内容能帮助您更好地理解和应用Linux信号处理机制。
278 26

推荐镜像

更多
下一篇
开通oss服务