MySQL内核月报 2015.03-MySQL · 性能优化· 5.7.6 InnoDB page flush 优化

简介:

在上期的月报中,我们已经详细介绍了Oracle MySQL以及社区分支最新的对InnoDB page flush的优化。在最近release的5.7.6版本中又有了进一步的改进。主要包括以下几点修改


修改一、更精确的loop时间

Page cleaner每做srv_flushing_avg_loops次flush后,会去计算刷脏和Redo LSN增长的速度。由于每次Page cleaner的工作量是自适应的,一次flush操作的时间可能超过1秒。

在新版本中,统一采用当前时间和上次更新速率的时间差来确认是否需要重新计算速率。因此参数innodb_flushing_avg_loops的行为实际上等同于每这么多秒后重计算速率。


修改二、根据buffer pool实例的脏页分布来决定刷脏

从5.7版本开始支持配置多个page cleaner线程以实现并行刷脏。在5.7.6之前的版本,Page cleaner协调线程根据当前的负载情况,会计算出预计需要flush的总page数和目标LSN,然后在多个bp instance间做个均分。

但是考虑一种场景:如果bp实例间的负载不平衡,某个实例在目标LSN之前的脏页很多,而有些实例很少,那么本应该多做刷脏动作的bp就可能产生堆积。 我们之前在webscalesql google公开讨论组 有过类似的讨论,感兴趣的可以看看。

回到正题上来,在5.7.6版本中,计算目标page数的方法大概如下:

  • 根据当前脏页占比和Redo LSN增长状态,计算利用IO Capacity的百分比(pct_total)
  • 计算目标LSN:
 

其中oldest_lsn表示当前buffer pool中最老page的LSN,lsn_avg_rate表示每秒LSN推进的平均速率,buf_flush_lsn_scan_factor目前是hardcode的,值为3。

  • 统计每个buffer pool 小于target_lsn的page数pages_for_lsn

初步估定每个bp instance 的n_pages_requested= pages_for_lsn /buf_flush_lsn_scan_factor。每个bp的pages_for_lsn被累加到sum_pages_for_lsn

  • 同时根据io capacity估算总的需要flush的Page数量:
 

n_pages若超过innodb_io_capacity_max,则设置为innodb_io_capacity_max

  • 轮询每个Buffer pool 实例:
 

也就是说,在Redo 空间足够时,依然采用均衡的刷脏逻辑。


在早期版本中,会根据两个条件来判断每个bp刷脏的进度:目标LSN及page数。而到了5.7.6版本里,大多数情况下只根据更加准确的请求刷page数来进行判定 (系统空闲时进行100% io capactiy的page flush、崩溃恢复时、以及实例shutdown时的刷脏除外)

虽然计算公式比较清晰,但有些factor的定值依然让人很困惑,也许是官方测试的比较理想的配置。不过最好还是设置成可配置的,由有经验的用户根据自己具体的负载情况来进行定制。


修改三、用户线程在检查Redo 空间时不参与刷脏

在之前版本中,当未做checkpoint的日志量过多时,用户线程会进行batch flush操作,将每个buffer pool instance的LSN推进到某个指定值。如果某个bp instance已经有别的线程在flush,则跳过尝试下一个instance,同时认为这次的flush操作是失败的,会返回重试。

当用户线程参与到刷脏时,通常会认为这是个性能拐点,TPS会出现急剧下降,大量线程陷入condtion wait 和并发flush。因此在5.7.6里,当用户线程需要推进LSN时,不再主动发起刷脏,这些工作会留给page cleaner线程来作。 用户线程只去轮询每个bp instance,直到所有的bp instance 的LSN超过其目标LSN,每次轮询默认sleep重试时间为10000微妙

事实上, Percona Server早在5.6版本里已经使用相同的策略了。


修改四、为page cleaner线程设置更高的优先级

在Linux平台下,对于page cleaner的协调线程和worker线程,其CPU优先级被设置为-20,即最高优先级,通过函数set_priority设置。目前还不支持参数配置。


修改五、防止checkpoint LSN被覆盖

在之前的版本中,尽管每次在写Redo时都会去检查日志文件是否容留了足够百分比的可用空间,但实际上并没有考虑即将写入的Redo log长度。如果我们操作一些极大的记录并产生很长的Redo log记录,这可能导致检查点LSN被覆盖掉,如果这时候crash就会无法安全的做崩溃恢复。

在新的逻辑里,在检测到当前写入的Redo 可能造成覆盖上次的checkpoint点时,就会进入sleep,等待page cleaner线程刷脏,然后再做一次Redo log checkpoint。如此循环直到checkpoint的LSN推进到安全的位置。


参考: worklog:wl#7868,及补丁


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
缓存 关系型数据库 MySQL
降低MySQL高CPU使用率的优化策略。
通过上述方法不断地迭代改进,在实际操作中需要根据具体场景做出相对合理判断。每一步改进都需谨慎评估其变动可能导致其他方面问题,在做任何变动前建议先在测试环境验证其效果后再部署到生产环境中去。
497 6
|
存储 SQL 关系型数据库
MySQL 核心知识与索引优化全解析
本文系统梳理了 MySQL 的核心知识与索引优化策略。在基础概念部分,阐述了 char 与 varchar 在存储方式和性能上的差异,以及事务的 ACID 特性、并发事务问题及对应的隔离级别(MySQL 默认 REPEATABLE READ)。 索引基础部分,详解了 InnoDB 默认的 B+tree 索引结构(多路平衡树、叶子节点存数据、双向链表支持区间查询),区分了聚簇索引(数据与索引共存,唯一)和二级索引(数据与索引分离,多个),解释了回表查询的概念及优化方法,并分析了 B+tree 作为索引结构的优势(树高低、效率稳、支持区间查询)。 索引优化部分,列出了索引创建的六大原则
430 2
|
存储 SQL 关系型数据库
MySQL 动态分区管理:自动化与优化实践
本文介绍了如何利用 MySQL 的存储过程与事件调度器实现动态分区管理,自动化应对数据增长,提升查询性能与数据管理效率,并详细解析了分区创建、冲突避免及实际应用中的关键注意事项。
661 0
|
存储 网络协议 关系型数据库
MySQL8.4创建keyring给InnoDB表进行静态数据加密
MySQL8.4创建keyring给InnoDB表进行静态数据加密
684 1
|
存储 关系型数据库 MySQL
介绍MySQL的InnoDB引擎特性
总结而言 , Inno DB 引搞 是 MySQL 中 高 性 能 , 高 可靠 的 存 储选项 , 宽泛 应用于要求强 复杂交易处理场景 。
550 15
|
存储 缓存 关系型数据库
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
MySQL的存储引擎是其核心组件之一,负责数据的存储、索引和检索。不同的存储引擎具有不同的功能和特性,可以根据业务需求 选择合适的引擎。本文详细介绍了MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案。
2753 57
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
625 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
SQL 缓存 关系型数据库
使用温InnoDB缓冲池启动MySQL测试
使用温InnoDB缓冲池启动MySQL测试
392 0
|
存储 关系型数据库 MySQL
MySQL存储引擎详述:InnoDB为何胜出?
MySQL 是最流行的开源关系型数据库之一,其存储引擎设计是其高效灵活的关键。InnoDB 作为默认存储引擎,支持事务、行级锁和外键约束,适用于高并发读写和数据完整性要求高的场景;而 MyISAM 不支持事务,适合读密集且对事务要求不高的应用。根据不同需求选择合适的存储引擎至关重要,官方推荐大多数场景使用 InnoDB。
1169 7
|
存储 关系型数据库 MySQL
Mysql索引:深入理解InnoDb聚集索引与MyisAm非聚集索引
通过本文的介绍,希望您能深入理解InnoDB聚集索引与MyISAM非聚集索引的概念、结构和应用场景,从而在实际工作中灵活运用这些知识,优化数据库性能。
893 7

相关产品

  • 云数据库 RDS MySQL 版
  • 推荐镜像

    更多