MySQL:Innodb page clean 线程 (一): 基础篇-阿里云开发者社区

开发者社区> 技术小能手> 正文

MySQL:Innodb page clean 线程 (一): 基础篇

简介:
+关注继续查看

本文使用源码版本:Percona 5.7.14
本文约定
-协调工作线程:因为page clean线程的协调线程也会完成部分刷新工作,所以叫做协调工作线程。

一、page clean线程概念

Innodb中page clean线程将脏数据写入到磁盘,脏数据写盘后相应的redo就可以覆盖,然后达到redo循环使用的目的。在5.7中参数可以开启多个page clean线程服务于多个innodb buffer实例如下:


The innodb_page_cleaners default value was
changed from 1 to 4 in MySQL 5.7. If the number of page cleaner threads exceeds the number
of buffer pool instances, innodb_page_cleaners is automatically set to the same value as
innodb_buffer_pool_instances.

实际上在内部实现中如果page clean线程为4个那么包含一个协调工作线程和三个工作线程,这个协调工作线程也要完成一部分工作。在MySQL中我们可以通过语句查看到这些工作线程:


| 17 | 57982 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |
| 18 | 57983 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |
| 20 | 57985 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |
| 19 | 57984 | innodb/page_cleaner_thread | NULL | BACKGROUND | NULL | NULL |

实际上在我浅析分析中发现,所有的工作线程都是不断轮询每一个和buffer instance对应的槽(slot),直到所有的buffer instance都已经进行了刷脏工作为止,并没有固定那个工作线程服务于那个buffer instance实例。

二、刷新方式

总的来说,page clean线程刷新的方式分为三种,如下:

1、 活跃刷新

一般来讲,我们线上的数据库一般都处于活跃状态,只要有DML/DDL等用到语句都会处于活跃状态,但是SELECT不包含在活跃状态下。

这种状态下刷新会开启一个协调工作线程和多个工作线程同时工作,这种状态其刷新的块数算法为(page_cleaner_flush_pages_recommendation函数):

 ●  (根据参数计算出来的页数量 +历史每秒刷新页的数量+根据target lsn计算出来的一个需要刷新的块数)/3

实际上这里需要关注的就是根据参数计算出来的页数量,算法大概如下(af_get_pct_for_dirty函数):


如果innodb_max_dirty_pages_pct_lwm没有开:
如果脏数据比率大于等于innodb_max_dirty_pages_pct的设置:
则返回100%
如果脏数据比率大于等于innodb_max_dirty_pages_pct_lwm:
如果innodb_max_dirty_pages_pct_lwm开启:
则返回(脏数据比率*100)/(innodb_max_dirty_pages_pct+1)这样一个百分比

我们计上面的百分比为A,除了百分比A还和innodb_adaptive_flushing、innodb_adaptive_flushing_lwm计算出来的百分比有关,我们记做B(af_get_pct_for_lsn函数计算),但是由于参数innodb_cleaner_lsn_age_factor默认设置为high_checkpoint,所以这个百分比比较小,具体算法见后文,其最后取值算法为:

根据参数计算出来的页数量 = MAX(A,B)*innodb_io_capacity

2、空闲刷新

一般情况下,除了活跃刷新就是空闲刷新,空闲的情况下因为服务器IO应该比较空闲,所以Innodb使用协调工作线程本身进行刷新,刷新的块数计算比较简单就是innodb_io_capacity设置的值。

3、 同步刷新

同步刷新则是堵塞刷新,所有需要写脏数据库的用户线程都会堵塞,这是很严重的情况。

在checkpoint的时候会检查或者DML语句执行过程中都会检查redo是否处于一个安全的位置,这是调用log_free_check函数进行,如果认为脏的块数太多,redo已经处于不安全的位置(log_checkpoint_margin),那么同步刷新会被唤醒。

关于这部分在源码部分还会提到。

三、关于一个警告

警告如下:

page_cleaner: 1000ms intended loop took **ms. The settings might not be optimal.((flushed="**" , during the time.)

实际上这个警告来自于两次刷新时间的检测:

 ●  本次刷新时间 - 上次刷新时间 > 1秒(睡眠时间)+3秒 则报警告

这个警告一般是IO能力不足,或者参数不够优化的结果,有了上面的基础我们知道这里应该做如下操作:

 ●  innodb_io_capacity 应该降低
 ●  innodb_max_dirty_pages_pct 应该降低
 ●  innodb_max_dirty_pages_pct_lwm 如果设置了应该考虑降低
 ●  innodb_io_capacity_max 考虑降低涉及到上面说的百分比B的计算(af_get_pct_for_lsn函数)

降低的目的在于减少每次刷新的量,让每次刷新块数更加平均。从而避免page clean 线程爆发性的刷新脏数据库,从而堵塞IO通道。如果慢慢调整后还是不行则考虑IO确实扛不住了。


原文发布时间为:2018-11-1

本文作者:重庆八怪

本文来自云栖社区合作伙伴“老叶茶馆”,了解相关信息可以关注“老叶茶馆”。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Spring Cloud Alibaba基础教程:支持的几种服务消费方式(RestTemplate、WebClient、Feign)
通过《Spring Cloud Alibaba基础教程:使用Nacos实现服务注册与发现》一文的学习,我们已经学会如何使用Nacos来实现服务的注册与发现,同时也介绍如何通过LoadBalancerClient接口来获取某个服务的具体实例,并根据实例信息来发起服务接口消费请求。
2506 0
Java基础-23总结多线程,线程实现Runnable接口,线程名字获取和设置,线程控制,线程安全,同步线程
你需要的是什么,直接评论留言。 获取更多资源加微信公众号“Java帮帮” (是公众号,不是微信好友哦) 还有“Java帮帮”今日头条号,技术文章与新闻,每日更新,欢迎阅读 学习交流请加Java帮帮交流QQ群553841695 分享是一种美德,分享更快乐! 1:多线程(理解) (1)多线程:一个应用程序有多条执行路径 进程:正
2757 0
Android JAVA 语言基础例子代码
Android的界面一般都是java开发的,因此对于c++,.net人员来说理解和编写有一个适应过程,最近参考了一下资料,把这些涉的一些java基础使用以例子代码的形式总结起来,记录了这个平台的熟悉过程。
812 0
numpy基础代码操练
In [20]: b[0,:,1] Out[20]: array([1, 5, 9]) In [21]: b[0,:,1] Out[21]: array([1, 5, 9]) In [22]: b[0,:,-1] Out[22]: array([ 3, 7, 11]) ...
911 0
03.Java基础(线程池和Callable<T>)
在以往的工作中,创建线程通常我们关注的都是Thread或者Runnable为主,其实忽略了另外一个比较有用的创建线程的方式,就是Callable接口,下边是Callable配合线程池实现异步任务 import java.
746 0
InnoDB的后台线程(IO线程,master线程,锁监控线程,错误监控线程)和内存(缓冲池,重做日志缓冲池,额外内存池)
InnoDB有多个内存块,你可以认为这些内存块组成了一个大的内存池,负责如下工作: 维护所有进程/线程需要访问的多个内部数据结构。 缓存磁盘上的数据,方便快速地读取,并且在对磁盘文件的数据进行修改之前在这里缓存。
792 0
01.Java基础(多线程回顾,对比Linux多线程)
两个线程间通信,实现交替打印 public class Thread1 { public static void main(String[] args) { final Printer printer = new Printe...
599 0
+关注
技术小能手
云栖运营小编~
5951
文章
9
问答
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载