MySQL内核月报 2014.10-MySQL· 功能改进·InnoDB Warmup特性

本文涉及的产品
RDS AI 助手,专业版
PolarDB Agent Express,2核4GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:

提要

相对于纳秒级的内存访问延时,普通的机械盘达到了毫秒级的随机访问延时,对于OLTP应用来说,物理IO绝对是目前数据库管理系统的最大性能杀手,所以增加内存的大小,提高IO的命中率无疑可以作为一种降低时延的常用优化手段。

针对使用InnoDB引擎的MySQL实例来说,增加buffer pool的大小,尽可能的提高buffer pool的命中率,减少物理IO的概率,能极大的提升系统的吞吐量。

但是,随着内存越来越大,面临着一个很严重的问题:当内存突然失效,或者实例异常crash后,面对相同的请求压力,或者突然的大压力,系统由于内存未命中会耗尽IO资源,并导致request响应变慢,形成雪崩效应。

Warmup特性

MySQL 5.6 Innodb提供了warmup的功能,并增加了三个控制参数:

innodb_buffer_pool_dump_at_shutdown
innodb_buffer_pool_filename
innodb_buffer_pool_load_at_startup

工作原理

InnoDB启动一个后台线程,等待一个条件变量:

1. 当系统shutdown的时候,如果innodb_buffer_pool_dump_at_shutdown=on,系统会notify condition,从buffer pool的LRU链表中,读取spaceid+page_no到innodb_buffer_pool_file文件中,然后正常关闭。

2. 当系统startup的时候,如果innodb_buffer_pool_load_at_startup=on,并且存在innodb_buffer_pool_file,会读取元信息,进行异步IO读取数据加载到buffer pool中。

3. 为了防止系统运行过久,innodb_buffer_pool_file过时,无法反映当前热点数据的情况,InnoDB又提供了一个innodb_buffer_pool_dump_now参数,set后会即时进行一次dump,覆盖掉老的文件。

那么问题来了

1. Warmup是否影响startup的速度:

不影响.启动的时候,读取innodb_buffer_pool_file, 排序后,进行异步IO,不影响startup的速度。但现实的情况是:如果你是在业务高峰期出现crash,其实对于系统来说,先warmup后,再开放提供服务,更合适。

2. 异常crash的时候,使用过时的元数据:

如果异常crash,那么就存在过时的innodb_buffer_pool_file,如果想避免这种情况,系统可以每隔一段时间,进行一次dump。

3. dump是否导致系统抖动

dump的过程,会持有mutex,扫描LRU链表,读取元数据,如果在系统业务高峰期,可能会产生抖动。

改进

MySQL 5.7 又增强了warmup功能的使用:

1. 新增参数innodb_buffer_pool_dump_pct

当前InnoDB的buffer pool可能设置的比较大,可以通过设置dump的比例,控制dump的速度和load时的量。

2. innodb_io_capacity

控制load过程中,防止过量使用IO资源,如果单机多实例的情况下,同时启动实例,会使IO过载。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
存储 网络协议 关系型数据库
MySQL8.4创建keyring给InnoDB表进行静态数据加密
MySQL8.4创建keyring给InnoDB表进行静态数据加密
504 1
|
8月前
|
存储 关系型数据库 MySQL
介绍MySQL的InnoDB引擎特性
总结而言 , Inno DB 引搞 是 MySQL 中 高 性 能 , 高 可靠 的 存 储选项 , 宽泛 应用于要求强 复杂交易处理场景 。
368 15
|
10月前
|
SQL 存储 关系型数据库
MySQL功能模块探秘:数据库世界的奇妙之旅
]带你轻松愉快地探索MySQL 8.4.5的核心功能模块,从SQL引擎到存储引擎,从复制机制到插件系统,让你在欢声笑语中掌握数据库的精髓!
328 26
|
存储 缓存 关系型数据库
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
MySQL的存储引擎是其核心组件之一,负责数据的存储、索引和检索。不同的存储引擎具有不同的功能和特性,可以根据业务需求 选择合适的引擎。本文详细介绍了MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案。
2382 57
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
|
存储 关系型数据库 MySQL
MySQL细节优化:关闭大小写敏感功能的方法。
通过这种方法,你就可以成功关闭 MySQL 的大小写敏感功能,让你的数据库操作更加便捷。
1115 19
|
关系型数据库 MySQL 数据库
|
SQL 缓存 关系型数据库
使用温InnoDB缓冲池启动MySQL测试
使用温InnoDB缓冲池启动MySQL测试
251 0
|
8月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
536 158
|
8月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。

相关产品

  • 云数据库 RDS MySQL 版
  • 推荐镜像

    更多