MySQL8.0 · 引擎特性 · InnoDB 批量读特性

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介:

Note:

  1. 相关worklog: WL#7093: Optimizer provides InnoDB with a bigger buffer
  2. 基于MySQL8.0.12

通常情况下,InnoDB每获得一行记录会:

  • 记录下当前的cursor
  • 返回记录
  • 下次进入innodb层时,重新恢复其在btree上的cursor,并读取下一条记录

但在满足一定条件时,InnoDB会顺序读取一部分记录并放到一个cache中。

  • 读取当前page的一些记录
  • 记录cursor
  • 返回记录
  • 再次进入Innodb层,直接从cache中取数据,如果cache已经取空,则继续到btree上读记录

在之前的版本中,这个cache是由innodb来控制的,挂在row_prebuilt_t->fetch_cache数组中,数量也是固定的,最多预读8条记录。

在MySQL8.0中,对这部分逻辑做了修改(wl#7093), 由server层来为innodb提供一个Buffer,并告诉innodb需要预读多少条记录。这种做法相比之前的版本显然更加合理,因为只有server层才理解sql,知道随后是否是顺序scan,是否需要预读更多的数据。server层通过估算可以去决定buffer的大小。

根据worklog的描述,执行器和innodb部分都会去决定是否使用record buffer.

执行器在如下场景不会使用record buffer:(ref set_record_buffer(const QEP_TAB *tab))

- If the access type is not one of ref, ref_or_null, index_merge,
  range, index or ALL.
- If the scan is estimated to return no more than one row.
- If the scan is a loose index scan, which typically doesn't read many
  consecutive rows.
- If the scan is against an internally generated temporary table.
- If the storage engine reports that it won't use the buffer.

InnoDB在如下场景不会使用record buffer (ref row_prebuilt_t::can_prefetch_records()):

- If the scan is not read-only.
- If the scan accesses BLOB-based columns (such as BLOB, TEXT, JSON,
  GEOMETRY).
- If it is a fulltext query.
- If the table does not have a user-defined primary key or a unique
  constraint that could be used as a primary key.
- Invoked from innodb api, aks: memcached plugin
- Invoked by Handler syntax

一些细节:

  • InnoDB目前硬限制了最大cache的行数为100行,(由于cache数据时,是持有了page latch的,为了避免过度长时间持有latch,需要设置上限。) 这个100未来是可以优化的,例如在算最大行数时,将记录大小和page size也考虑进去
  • Server层硬限制cache的大小总共不超过MAX_RECORD_BUFFER_SIZE,即128kb
  • cache内存从thd上分配,因此只有到sql结束时才会释放
  • 在innodb里,若满足end_range,就会停止读入cache (row_search_end_range_check)

其他相关函数:

row_sel_dequeue_cached_row_for_mysql() // 从buffer中读取出记录
row_sel_enqueue_cache_row_for_mysql() // 向buffer中缓存记录
row_sel_fetch_last_buf() 
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
9天前
|
SQL 关系型数据库 MySQL
MySQL8.0索引新特性
MySQL8.0索引新特性
18 0
|
7天前
|
存储 监控 关系型数据库
MySQL 参数innodb_read_io_threads
`innodb_read_io_threads` 是 MySQL 数据库中 InnoDB 存储引擎的一个配置参数,它用于指定后台线程池中用于处理读取 I/O 请求的线程数量。InnoDB 存储引擎负责管理数据库的物理存储和检索,是 MySQL 最常用的存储引擎之一。 ### 参数说明 - **名称**: `innodb_read_io_threads` - **默认值**: 4 - **范围**: 1 到 64 - **动态修改**: 不能动态修改(需要重启服务器) - **适用版本**: MySQL 5.6 及以上版本 ### 作用 `innodb_read_io_threads`
|
9天前
|
存储 关系型数据库 MySQL
学习MySQL(5.7)第二战:四大引擎、账号管理以及建库(干货满满)
学习MySQL(5.7)第二战:四大引擎、账号管理以及建库(干货满满)
|
9天前
|
运维 负载均衡 关系型数据库
MySQL高可用解决方案演进:从主从复制到InnoDB Cluster架构
MySQL高可用解决方案演进:从主从复制到InnoDB Cluster架构
|
9天前
|
存储 SQL 关系型数据库
mysql中MyISAM和InnoDB的区别是什么
mysql中MyISAM和InnoDB的区别是什么
17 0
|
9天前
|
SQL 安全 关系型数据库
【Mysql-12】一文解读【事务】-【基本操作/四大特性/并发事务问题/事务隔离级别】
【Mysql-12】一文解读【事务】-【基本操作/四大特性/并发事务问题/事务隔离级别】
|
9天前
|
存储 关系型数据库 MySQL
【MySQL系列笔记】InnoDB引擎-数据存储结构
InnoDB 存储引擎是MySQL的默认存储引擎,是事务安全的MySQL存储引擎。该存储引擎是第一个完整ACID事务的MySQL存储引擎,其特点是行锁设计、支持MVCC、支持外键、提供一致性非锁定读,同时被设计用来最有效地利用以及使用内存和 CPU。因此很有必要学习下InnoDB存储引擎,它的很多架构设计思路都可以应用到我们的应用系统设计中。
208 4
|
9天前
|
存储 监控 关系型数据库
【MySQL】InnoDB 什么情况下会产生死锁
【MySQL】InnoDB 什么情况下会产生死锁
|
9天前
|
SQL 关系型数据库 MySQL
|
7天前
|
关系型数据库 MySQL API
实时计算 Flink版产品使用合集之可以通过mysql-cdc动态监听MySQL数据库的数据变动吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
84 0

相关产品

  • 云数据库 RDS MySQL 版
  • 推荐镜像

    更多