MySQL 5.7.6 WL#7868 Innodb page flush优化

简介:
在上期的我们的月报( 2015/2)中,我们已经针对Oracle MySQL以及社区版本最新的对innodb page flush的优化做了详细的介绍。
在最近release的5.7.6版本中又有了进一步的改进。

 

 

修改一、更精确的loop计算时间
 

 

Page cleaner会每做srv_flushing_avg_loops次后,会去计算刷脏和redo lsn增长的速度。由于每次Page cleaner的工作量是自适应的,一次flush操作的时间可能超过1秒,因此做N次loop的总时间可能超过N秒。

 

在新版本中,统一采用当前时间和上次计算速率时间差来确认是否需要重新计算速率。因此参数innodb_flushing_avg_loops的行为实际上等同于每这么多秒后重计算速率。

 

 

修改二、根据buffer pool实例的脏页分布来决定刷脏

 

我们知道从5.7版本开始支持多个page cleaner线程以实现并行刷脏。在5.7.6之前的版本中,page cleaner协调线程根据当前的负载情况,会计算出预计需要flush的总page数和目标lsn,然后在多个bp instance间做个均分。

 

考虑一种场景:如果bp实例间的负载不平衡,某个实例在目标lsn之前的脏页很多,而有些实例很少,那么应该多作刷脏动作的bp就可能产生堆积。 我们之前在webscalesql google公开讨论组有过类似的讨论,感兴趣的可以看看。

 

回到正题上来,在5.7.6版本中,计算目标page数的方法大概如下:
#根据当前脏页占比和lsn增长状态,计算利用IO CAPACITY的百分比(pct_total)
#计算目标lsn:
     target_lsn = oldest_lsn + lsn_avg_rate * buf_flush_lsn_scan_factor
其中oldest_lsn表示当前buffer pool中最老page的lsn,lsn_avg_rate表示每秒Lsn推进的平均速率,buf_flush_lsn_scan_factor目前是hardcode的,值为3。

 

#统计每个buffer pool 小于target_lsn的page数pages_for_lsn
初步估定每个bp instance 的n_pages_requested= pages_for_lsn /buf_flush_lsn_scan_factor
每个bp的pages_for_lsn被累加到sum_pages_for_lsn

 

#同时根据io capacity的百分比估算的总的page flush的量
sum_pages_for_lsn /= buf_flush_lsn_scan_factor;
n_pages = (PCT_IO(pct_total) + avg_page_rate + sum_pages_for_lsn) / 3;

 

n_pages若超过innodb_io_capacity_max,则设置为innodb_io_capacity_max

 

#轮询每个Buffer pool instance:
如果当前有足够的redo 空间时:n_pages_requested  = n_pages / srv_buf_pool_instances
否则:n_pages_requested = n_pages_requested  * n_pages / sum_pages_for_lsn
也就是说,在redo 空间足够时,依然采用均衡的刷脏逻辑。

 

在早期版本中,会根据两个条件来判断每个bp刷脏的进度:目标LSN及page数。而到了5.7.6版本里,大多数情况下只根据更加准确的请求刷page数来进行判定 (系统空闲时进行100% io capactiy的page flush、崩溃恢复时、以及实例shutdown时的刷脏除外)

 

虽然计算方式比较清晰,但有些factor的定值依然让人很困惑,也许是官方测试的比较理想的配置。不过最好还是设置成可配置的,由用户根据自己具体的负载情况来进行定制。

 

 

修改三、用户线程在检查redo 空间时不参与刷脏

 

当redo file中未做checkpoint的日志量过多时,在早期版本中中用户线程会进行batch flush操作,将每个buffer pool instance的lsn推进到某个指定的LSN。如果某个bp instance已经有别的线程在flush,则跳过尝试下一个instance,同时认为这次的flush操作是失败的,会返回重试。

 

当用户线程参与到刷脏时,通常会认为这是个性能拐点,TPS会出现急剧下降,大量线程陷入condtion wait。因此在5.7.6里,当用户线程需要推进LSN时,不再主动发起刷脏,而是轮询每个bp instance,直到所有的bp instance 的lsn超过其目标LSN,每次轮询默认sleep重试时间为10000微妙

 

事实上, Percona Server在5.6版本里已经使用相同的策略了。

 

修改四、为page cleaner线程设置更高的优先级

 

在Linux平台下,对于page cleaner的协调线程和worker线程,其CPU优先级被设置为-20,即最高优先级,通过函数set_priority设置。目前还不支持参数配置

 

修改五、防止checkpoint LSN被覆盖

 

在之前的版本中,尽管每次在写redo时,都会去检察redo文件是否容留了足够百分比的可用空间,但实际上并没有考虑即将写入到的redo log长度。如果我们操作一些极大的记录时,产生很长的redo log记录,可能导致检查点LSN被覆盖掉,造成不能做安全的crash recovery。

 

在新的逻辑里,在检测到当前写入的redo 可能造成覆盖检察点时,就会sleep等待page cleaner线程刷脏,并做redo log checkpoint。直到checkpoint的LSN推进到安全的位置。

 

 

除了上述几点外,还加入了更丰富的监控项
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
存储 网络协议 关系型数据库
MySQL8.4创建keyring给InnoDB表进行静态数据加密
MySQL8.4创建keyring给InnoDB表进行静态数据加密
684 1
|
存储 关系型数据库 MySQL
介绍MySQL的InnoDB引擎特性
总结而言 , Inno DB 引搞 是 MySQL 中 高 性 能 , 高 可靠 的 存 储选项 , 宽泛 应用于要求强 复杂交易处理场景 。
550 15
|
存储 缓存 关系型数据库
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
MySQL的存储引擎是其核心组件之一,负责数据的存储、索引和检索。不同的存储引擎具有不同的功能和特性,可以根据业务需求 选择合适的引擎。本文详细介绍了MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案。
2753 57
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
|
SQL 缓存 关系型数据库
使用温InnoDB缓冲池启动MySQL测试
使用温InnoDB缓冲池启动MySQL测试
392 0
|
存储 关系型数据库 MySQL
MySQL数据库进阶第六篇(InnoDB引擎架构,事务原理,MVCC)
MySQL数据库进阶第六篇(InnoDB引擎架构,事务原理,MVCC)
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
625 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
存储 关系型数据库 MySQL
MySQL存储引擎详述:InnoDB为何胜出?
MySQL 是最流行的开源关系型数据库之一,其存储引擎设计是其高效灵活的关键。InnoDB 作为默认存储引擎,支持事务、行级锁和外键约束,适用于高并发读写和数据完整性要求高的场景;而 MyISAM 不支持事务,适合读密集且对事务要求不高的应用。根据不同需求选择合适的存储引擎至关重要,官方推荐大多数场景使用 InnoDB。
1169 7
|
存储 关系型数据库 MySQL
Mysql索引:深入理解InnoDb聚集索引与MyisAm非聚集索引
通过本文的介绍,希望您能深入理解InnoDB聚集索引与MyISAM非聚集索引的概念、结构和应用场景,从而在实际工作中灵活运用这些知识,优化数据库性能。
893 7
|
存储 关系型数据库 MySQL
MySQL引擎InnoDB和MyISAM的区别?
InnoDB是MySQL默认的事务型存储引擎,支持事务、行级锁、MVCC、在线热备份等特性,主索引为聚簇索引,适用于高并发、高可靠性的场景。MyISAM设计简单,支持压缩表、空间索引,但不支持事务和行级锁,适合读多写少、不要求事务的场景。
566 9

推荐镜像

更多