MySQL8.0 · 引擎特性 · InnoDB 批量读特性

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
简介:

Note:

  1. 相关worklog: WL#7093: Optimizer provides InnoDB with a bigger buffer
  2. 基于MySQL8.0.12

通常情况下,InnoDB每获得一行记录会:

  • 记录下当前的cursor
  • 返回记录
  • 下次进入innodb层时,重新恢复其在btree上的cursor,并读取下一条记录

但在满足一定条件时,InnoDB会顺序读取一部分记录并放到一个cache中。

  • 读取当前page的一些记录
  • 记录cursor
  • 返回记录
  • 再次进入Innodb层,直接从cache中取数据,如果cache已经取空,则继续到btree上读记录

在之前的版本中,这个cache是由innodb来控制的,挂在row_prebuilt_t->fetch_cache数组中,数量也是固定的,最多预读8条记录。

在MySQL8.0中,对这部分逻辑做了修改(wl#7093), 由server层来为innodb提供一个Buffer,并告诉innodb需要预读多少条记录。这种做法相比之前的版本显然更加合理,因为只有server层才理解sql,知道随后是否是顺序scan,是否需要预读更多的数据。server层通过估算可以去决定buffer的大小。

根据worklog的描述,执行器和innodb部分都会去决定是否使用record buffer.

执行器在如下场景不会使用record buffer:(ref set_record_buffer(const QEP_TAB *tab))

- If the access type is not one of ref, ref_or_null, index_merge,
  range, index or ALL.
- If the scan is estimated to return no more than one row.
- If the scan is a loose index scan, which typically doesn't read many
  consecutive rows.
- If the scan is against an internally generated temporary table.
- If the storage engine reports that it won't use the buffer.

InnoDB在如下场景不会使用record buffer (ref row_prebuilt_t::can_prefetch_records()):

- If the scan is not read-only.
- If the scan accesses BLOB-based columns (such as BLOB, TEXT, JSON,
  GEOMETRY).
- If it is a fulltext query.
- If the table does not have a user-defined primary key or a unique
  constraint that could be used as a primary key.
- Invoked from innodb api, aks: memcached plugin
- Invoked by Handler syntax

一些细节:

  • InnoDB目前硬限制了最大cache的行数为100行,(由于cache数据时,是持有了page latch的,为了避免过度长时间持有latch,需要设置上限。) 这个100未来是可以优化的,例如在算最大行数时,将记录大小和page size也考虑进去
  • Server层硬限制cache的大小总共不超过MAX_RECORD_BUFFER_SIZE,即128kb
  • cache内存从thd上分配,因此只有到sql结束时才会释放
  • 在innodb里,若满足end_range,就会停止读入cache (row_search_end_range_check)

其他相关函数:

row_sel_dequeue_cached_row_for_mysql() // 从buffer中读取出记录
row_sel_enqueue_cache_row_for_mysql() // 向buffer中缓存记录
row_sel_fetch_last_buf() 
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
12天前
|
存储 关系型数据库 MySQL
MySQL 8.0特性-自增变量的持久化
【11月更文挑战第8天】在 MySQL 8.0 之前,自增变量(`AUTO_INCREMENT`)的行为在服务器重启后可能会发生变化,导致意外结果。MySQL 8.0 引入了自增变量的持久化特性,将其信息存储在数据字典中,确保重启后的一致性。这提高了开发和管理的稳定性,减少了主键冲突和数据不一致的风险。默认情况下,MySQL 8.0 启用了这一特性,但在升级时需注意行为变化。
|
13天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
120 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
12天前
|
存储 安全 关系型数据库
InnoDB引擎特性
InnoDB事务型数据库的首选引擎,支持事务安全表(ACID),支持行锁定和外键。MySQL5.5.5之后,InnoDB作为默认存储引擎,InnoDB主要特性有: InnoDB给MySQL提供了具有提交,回滚和崩溃恢复能力的事务安全(ACID兼容)存储引擎。InnoDB锁定在行级并且也在SELECT语句中提供了一个类似Oracle的非锁定读。 InnoDB是为处理巨大数据量的最大性能设计。它的CPU效率可能是任何其他基于磁盘关系的数据库引擎所不能匹敌的。 InnoDB存储引擎完全与MySQL服务器整合,InnoDB存储引擎为在主内存中缓存数据和索引而维持它自己的缓冲池
|
13天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的表空间
InnoDB是MySQL默认的存储引擎,主要由存储结构、内存结构和线程结构组成。其存储结构分为逻辑和物理两部分,逻辑存储结构包括表空间、段、区和页。表空间是InnoDB逻辑结构的最高层,所有数据都存放在其中。默认情况下,InnoDB有一个共享表空间ibdata1,用于存放撤销信息、系统事务信息等。启用参数`innodb_file_per_table`后,每张表的数据可以单独存放在一个表空间内,但撤销信息等仍存放在共享表空间中。
|
13天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的段、区和页
MySQL的InnoDB存储引擎逻辑存储结构与Oracle相似,包括表空间、段、区和页。表空间由段和页组成,段包括数据段、索引段等。区是1MB的连续空间,页是16KB的最小物理存储单位。InnoDB是面向行的存储引擎,每个页最多可存放7992行记录。
|
13天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的InnoDB存储引擎
InnoDB是MySQL的默认存储引擎,广泛应用于互联网公司。它支持事务、行级锁、外键和高效处理大量数据。InnoDB的主要特性包括解决不可重复读和幻读问题、高并发度、B+树索引等。其存储结构分为逻辑和物理两部分,内存结构类似Oracle的SGA和PGA,线程结构包括主线程、I/O线程和其他辅助线程。
【赵渝强老师】MySQL的InnoDB存储引擎
|
28天前
|
存储 关系型数据库 MySQL
mysql 引擎概述
MySQL存储引擎是处理不同类型表操作的组件,InnoDB是最常用的默认引擎,支持事务、行级锁定和外键。MySQL采用插件式存储引擎架构,支持多种引擎,如MyISAM、Memory、CSV等,每种引擎适用于不同的应用场景。通过`SHOW ENGINES`命令可查看当前MySQL实例支持的存储引擎及其状态。选择合适的存储引擎需根据具体业务需求和引擎特性来决定。
|
1月前
|
SQL 安全 关系型数据库
MySQL8.2有哪些新特性?
【10月更文挑战第3天】MySQL8.2有哪些新特性?
40 2
|
1月前
|
存储 关系型数据库 MySQL
mysql 8.0 的 建表 和八种 建表引擎实例
mysql 8.0 的 建表 和八种 建表引擎实例
22 0
|
1月前
|
存储 缓存 关系型数据库
详细解析MySQL中的innodb和myisam
总之,InnoDB和MyISAM各有千秋,选择合适的存储引擎应基于对应用程序特性的深入理解,以及对性能、数据完整性和可扩展性的综合考量。随着技术发展,InnoDB因其全面的功能和日益优化的性能,逐渐成为更广泛场景下的首选。然而,在特定条件下,MyISAM依然保留其独特的价值。
125 0

相关产品

  • 云数据库 RDS MySQL 版
  • 下一篇
    无影云桌面