如何解决mysql警告:“ InnoDB:page_cleaner:1000毫秒的预期循环用了XXX毫秒设置可能不是最佳的”?

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS PostgreSQL,高可用系列 2核4GB
简介: 如何解决mysql警告:“ InnoDB:page_cleaner:1000毫秒的预期循环用了XXX毫秒设置可能不是最佳的”?

如何解决如何解决mysql警告:“ InnoDB:page_cleaner:1000毫秒的预期循环用了XXX毫秒设置可能不是最佳的”??
InnoDB:page_cleaner:1000毫秒的预期循环耗时4013毫秒。设置可能不是最佳的。(在这段时间内刷新为1438,逐出为0)。

这个问题是典型的MysqL实例,其中您对数据库的更改率很高。通过运行5GB导入,您可以快速创建脏页。创建脏页时,页面清除器线程负责将脏页从内存复制到磁盘。

就您而言,我假设您并非一直都导入5GB。因此,这是非常高的数据负载率,而且是暂时的。您可能会忽略警告,因为InnoDB会逐渐赶上。

这是导致此警告的内部原因的详细说明。

每秒一次,页面清理程序扫描缓冲池中是否有脏页,以将其从缓冲池刷新到磁盘。您看到的警告表明它有很多脏页要刷新,并且需要花费4秒多的时间将一批脏页刷新到磁盘上,而这应该在1秒内完成。换句话说,它咬的东西超过了它的咀嚼能力。

您通过将它innodb_lru_scan_depth从1024 减少到256 进行了调整。这减少了页面清洁器线程在每秒一次的循环中搜索脏页到缓冲池的距离。您要求它咬一点。

请注意,如果您有许多缓冲池实例,它将导致刷新工作更多。它innodb_lru_scan_depth减少了每个缓冲池实例的工作量。因此,您可能在不减小扫描深度的情况下无意中通过增加了缓冲池的数量而导致了该瓶颈。

的文档innodb_lru_scan_depth说:“小于默认设置通常适用于大多数工作负载。” 听起来他们给此选项的默认值太高。

您可以使用innodb_io_capacity和innodb_io_capacity_max选项来限制后台冲洗使用的IOPS 。第一个选项是InnoDB将请求的I / O吞吐量的软限制。但是这个限制是灵活的。如果刷新落后于新的脏页创建速度,则InnoDB将动态增加刷新率,使其超过此限制。第二个选项对InnoDB可能增加刷新率的范围进行了更严格的限制。

如果刷新率能跟上创建新脏页的平均率,那么您会没事的。但是,如果您始终以比刷新它们快的速度创建脏页,则最终您的缓冲池将充满脏页,直到脏页超出innodb_max_dirty_page_pct缓冲池为止。此时,刷新率将自动增加,并可能再次导致page_cleaner发送警告。

另一个解决方案是将MysqL放在具有更快磁盘的服务器上。您需要一个I / O系统,该系统可以处理页面刷新所需的吞吐量。

如果您始终在平均流量下看到此警告,则可能是您尝试在此MysqL服务器上执行太多写查询。现在可能是横向扩展并将写入分成多个MysqL实例的时候了,每个实例都有自己的磁盘系统。

了解有关页面清洁器的更多信息:

在InnoDB中引入page_cleaner线程(归档副本)
MySQL-5.7改善了面向DML的工作负载
解决方法
我在服务器上运行了mysql import mysql dummyctrad
<dumpfile.sql,它花了太长时间才能完成。转储文件约为5G。该服务器是Centos 6,内存= 16G和8核处理器,mysql v 5.7
x64-

这些是正常消息/状态“正在等待表刷新”吗? InnoDB: page_cleaner: 1000ms intended loop took 4013ms. The settings might not be optimal

mysql日志内容

2016-12-13T10:51:39.909382Z 0 [Note] InnoDB: page_cleaner: 1000ms intended loop took 4013ms. The settings might not be optimal. (flushed=1438 and evicted=0,during the time.)
2016-12-13T10:53:01.170388Z 0 [Note] InnoDB: page_cleaner: 1000ms intended loop took 4055ms. The settings might not be optimal. (flushed=1412 and evicted=0,during the time.)
2016-12-13T11:07:11.728812Z 0 [Note] InnoDB: page_cleaner: 1000ms intended loop took 4008ms. The settings might not be optimal. (flushed=1414 and evicted=0,during the time.)
2016-12-13T11:39:54.257618Z 3274915 [Note] Aborted connection 3274915 to db: 'dummyctrad' user: 'root' host: 'localhost' (Got an error writing communication packets)
流程清单:

mysql> show processlist \G;
1. row **

 Id: 3273081

User: root
Host: localhost

 db: dummyctrad

Command: Field List
Time: 7580
State: Waiting for table flush
Info:
2. row **

 Id: 3274915

User: root
Host: localhost

 db: dummyctrad

Command: Query
Time: 2
State: update
Info: INSERT INTO radacct VALUES (351318325,'kxid ge:7186','abcxyz5976c','user100
3. row **

 Id: 3291591

User: root
Host: localhost

 db: NULL

Command: Query
Time: 0
State: starting
Info: show processlist
4. row **

 Id: 3291657

User: remoteuser
Host: portal.example.com:32800

 db: ctradius

Command: Sleep
Time: 2
State:
Info: NULL
4 rows in set (0.00 sec)
更新1

mysqlforum,innodb_lru_scan_depth

将innodb_lru_scan_depth值更改为256可改善插入查询的执行时间+日志中无警告消息,默认值为innodb_lru_scan_depth =
1024;

SET GLOBAL innodb_lru_scan_depth=256;

声明:地推任务网所有作品(图片、文字)均由用户自行上传分享,仅供网友学习交流。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
2月前
|
存储 关系型数据库 MySQL
介绍MySQL的InnoDB引擎特性
总结而言 , Inno DB 引搞 是 MySQL 中 高 性 能 , 高 可靠 的 存 储选项 , 宽泛 应用于要求强 复杂交易处理场景 。
109 15
|
7月前
|
存储 网络协议 关系型数据库
MySQL8.4创建keyring给InnoDB表进行静态数据加密
MySQL8.4创建keyring给InnoDB表进行静态数据加密
235 1
|
3月前
|
NoSQL 关系型数据库 MySQL
在Visual Studio Code中设置MySQL源码调试环境
以上步骤涵盖了在VS Code中设置MySQL源码调试环境的主要过程,是一个相对高级的任务,旨在为希望建立强大开发和调试环境的开发者提供指引。遵循这些步骤,将可以利用VS Code强大的编辑和调试功能来深入理解和改进MySQL数据库的底层实现。
339 0
|
6月前
|
Java 关系型数据库 MySQL
在Linux操作系统上设置JDK、Tomcat、MySQL以及J2EE后端接口的部署步骤
让我们总结一下,给你的Linux操作系统装备上最强的军队,需要先后装备好JDK的弓箭,布置好Tomcat的阵地,再把MySQL的物资原料准备好,最后部署好J2EE攻城车,那就准备好进军吧,你的Linux军团,无人可挡!
158 18
|
11月前
|
存储 缓存 关系型数据库
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
MySQL的存储引擎是其核心组件之一,负责数据的存储、索引和检索。不同的存储引擎具有不同的功能和特性,可以根据业务需求 选择合适的引擎。本文详细介绍了MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案。
1912 57
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
|
7月前
|
SQL 缓存 关系型数据库
使用温InnoDB缓冲池启动MySQL测试
使用温InnoDB缓冲池启动MySQL测试
136 0
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
361 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
11月前
|
存储 关系型数据库 MySQL
MySQL存储引擎详述:InnoDB为何胜出?
MySQL 是最流行的开源关系型数据库之一,其存储引擎设计是其高效灵活的关键。InnoDB 作为默认存储引擎,支持事务、行级锁和外键约束,适用于高并发读写和数据完整性要求高的场景;而 MyISAM 不支持事务,适合读密集且对事务要求不高的应用。根据不同需求选择合适的存储引擎至关重要,官方推荐大多数场景使用 InnoDB。
438 7
|
11月前
|
存储 关系型数据库 MySQL
Mysql索引:深入理解InnoDb聚集索引与MyisAm非聚集索引
通过本文的介绍,希望您能深入理解InnoDB聚集索引与MyISAM非聚集索引的概念、结构和应用场景,从而在实际工作中灵活运用这些知识,优化数据库性能。
598 7
|
11月前
|
存储 关系型数据库 MySQL
MySQL引擎InnoDB和MyISAM的区别?
InnoDB是MySQL默认的事务型存储引擎,支持事务、行级锁、MVCC、在线热备份等特性,主索引为聚簇索引,适用于高并发、高可靠性的场景。MyISAM设计简单,支持压缩表、空间索引,但不支持事务和行级锁,适合读多写少、不要求事务的场景。
208 9

推荐镜像

更多