MySQL8.0 · 引擎特性 · InnoDB 批量读特性-阿里云开发者社区

开发者社区> zhaiwx_yinfeng> 正文

MySQL8.0 · 引擎特性 · InnoDB 批量读特性

简介:
+关注继续查看

Note:

  1. 相关worklog: WL#7093: Optimizer provides InnoDB with a bigger buffer
  2. 基于MySQL8.0.12

通常情况下,InnoDB每获得一行记录会:

  • 记录下当前的cursor
  • 返回记录
  • 下次进入innodb层时,重新恢复其在btree上的cursor,并读取下一条记录

但在满足一定条件时,InnoDB会顺序读取一部分记录并放到一个cache中。

  • 读取当前page的一些记录
  • 记录cursor
  • 返回记录
  • 再次进入Innodb层,直接从cache中取数据,如果cache已经取空,则继续到btree上读记录

在之前的版本中,这个cache是由innodb来控制的,挂在row_prebuilt_t->fetch_cache数组中,数量也是固定的,最多预读8条记录。

在MySQL8.0中,对这部分逻辑做了修改(wl#7093), 由server层来为innodb提供一个Buffer,并告诉innodb需要预读多少条记录。这种做法相比之前的版本显然更加合理,因为只有server层才理解sql,知道随后是否是顺序scan,是否需要预读更多的数据。server层通过估算可以去决定buffer的大小。

根据worklog的描述,执行器和innodb部分都会去决定是否使用record buffer.

执行器在如下场景不会使用record buffer:(ref set_record_buffer(const QEP_TAB *tab))

- If the access type is not one of ref, ref_or_null, index_merge,
  range, index or ALL.
- If the scan is estimated to return no more than one row.
- If the scan is a loose index scan, which typically doesn't read many
  consecutive rows.
- If the scan is against an internally generated temporary table.
- If the storage engine reports that it won't use the buffer.

InnoDB在如下场景不会使用record buffer (ref row_prebuilt_t::can_prefetch_records()):

- If the scan is not read-only.
- If the scan accesses BLOB-based columns (such as BLOB, TEXT, JSON,
  GEOMETRY).
- If it is a fulltext query.
- If the table does not have a user-defined primary key or a unique
  constraint that could be used as a primary key.
- Invoked from innodb api, aks: memcached plugin
- Invoked by Handler syntax

一些细节:

  • InnoDB目前硬限制了最大cache的行数为100行,(由于cache数据时,是持有了page latch的,为了避免过度长时间持有latch,需要设置上限。) 这个100未来是可以优化的,例如在算最大行数时,将记录大小和page size也考虑进去
  • Server层硬限制cache的大小总共不超过MAX_RECORD_BUFFER_SIZE,即128kb
  • cache内存从thd上分配,因此只有到sql结束时才会释放
  • 在innodb里,若满足end_range,就会停止读入cache (row_search_end_range_check)

其他相关函数:

row_sel_dequeue_cached_row_for_mysql() // 从buffer中读取出记录
row_sel_enqueue_cache_row_for_mysql() // 向buffer中缓存记录
row_sel_fetch_last_buf() 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
4009 0
linux 批量建立信任关系
linux 批量建立信任关系
7541 0
MySQL 大批量插入,如何过滤掉重复数据?
加班原因是上线,解决线上数据库存在重复数据的问题,发现了程序的bug,很好解决,有点问题的是,修正线上的重复数据。
65 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
3956 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7580 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
5676 0
+关注
zhaiwx_yinfeng
MySQL内核开发者, 《高性能MySQL 第三版》译者之一,活跃于MySQL社区,BugList,etc...
224
文章
5
问答
来源圈子
更多
阿里云数据库:帮用户承担一切数据库风险,给您何止是安心!支持关系型数据库:MySQL、SQL Server、PostgreSQL、PPAS(完美兼容Oracle)、自研PB级数据存储的分布式数据库Petadata、自研金融级云数据库OceanBase支持NoSQL数据库:MongoDB、Redis、Memcache更有褚霸、丁奇、德哥、彭立勋、玄惭、叶翔等顶尖数据库专家服务。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载