AI 助理
备案控制台
开发者社区 数据库 文章 正文

【MySQL】性能优化之 Index Condition Pushdown

2014-07-06 1090
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 高可用系列，价值2615元额度，1个月
简介： 一 概念介绍    Index Condition Pushdown (ICP)是MySQL 5.6 版本中的新特性,是一种在存储引擎层使用索引过滤数据的一种优化方式。
一 概念介绍
     Index Condition Pushdown (ICP)是MySQL 5.6 版本中的新特性,是一种在存储引擎层使用索引过滤数据的一种优化方式。
a 当关闭ICP时,index 仅仅是data access 的一种访问方式，存储引擎通过索引回表获取的数据会传递到MySQL Server 层进行where条件过滤。
b 当打开ICP时,如果部分where条件能使用索引中的字段,MySQL Server 会把这部分下推到引擎层,可以利用index过滤的where条件在存储引擎层进行数据过滤,而非将所有通过index access的结果传递到MySQL server层进行where过滤.
优化效果:ICP能减少引擎层访问基表的次数和MySQL Server 访问存储引擎的次数,减少io次数，提高查询语句性能。

二 原理
Index Condition Pushdown is not used:
  1 Get the next row, first by reading the index tuple, and then by using the index tuple to locate and read the full table row.
  2 Test the part of the WHERE condition that applies to this table. Accept or reject the row based on the test result.
Index Condition Pushdown is used
  1 Get the next row s index tuple (but not the full table row).
  2 Test the part of the WHERE condition that applies to this table and can be checked using only index columns. 
    If the condition is not satisfied, proceed to the index tuple for the next row.
  3 If the condition is satisfied, use the index tuple to locate and read the full table row.
  4 est the remaining part of the WHERE condition that applies to this table. Accept or reject the row based on the test result.

三  实践案例
a  环境准备 
   数据库版本 5.6.16
   关闭缓存
     set query_cache_size=0;
     set query_cache_type=OFF;
   测试数据 下载地址  
b 当开启ICP时
  1. mysql> SET profiling = 1;
  2. Query OK, 0 rows affected, 1 warning (0.00 sec)
  3. mysql> select * from employees where first_name='Anneke' and last_name like '%sig' ;
  4. +--------+------------+------------+-----------+--------+------------+
  5. | emp_no | birth_date | first_name | last_name | gender | hire_date |
  6. +--------+------------+------------+-----------+--------+------------+
  7. | 10006  | 1953-04-20 | Anneke     | Preusig   | F      | 1989-06-02 |
  8. +--------+------------+------------+-----------+--------+------------+
  9. 1 row in set (0.00 sec)
  10. mysql> show profiles;
  11. +----------+------------+--------------------------------------------------------------------------------+
  12. | Query_ID | Duration   | Query                                                                          |
  13. +----------+------------+--------------------------------------------------------------------------------+
  14. | 1        | 0.00060275 | select * from employees where first_name='Anneke' and last_name like '%sig'    |
  15. +----------+------------+--------------------------------------------------------------------------------+
  16. 3 rows in set, 1 warning (0.00 sec)
此时情况下根据MySQL的最左前缀原则, first_name 可以使用索引，last_name采用了like 模糊查询，不能使用索引。 
c 关闭ICP
  1. mysql> set optimizer_switch='index_condition_pushdown=off';
  2. Query OK, 0 rows affected (0.00 sec)
  3. mysql> SET profiling = 1;
  4. Query OK, 0 rows affected, 1 warning (0.00 sec)
  5. mysql> select * from employees where first_name='Anneke' and last_name like '%sig' ;
  6. +--------+------------+------------+-----------+--------+------------+
  7. | emp_no | birth_date | first_name | last_name | gender | hire_date |
  8. +--------+------------+------------+-----------+--------+------------+
  9. | 10006  | 1953-04-20 | Anneke     | Preusig   | F      | 1989-06-02 |
  10. +--------+------------+------------+-----------+--------+------------+
  11. 1 row in set (0.00 sec)
  12. mysql> SET profiling = 0;
  13. Query OK, 0 rows affected, 1 warning (0.00 sec)
  14. mysql> show profiles;
  15. +----------+------------+--------------------------------------------------------------------------------+
  16. | Query_ID | Duration   | Query                                                                          |
  17. +----------+------------+--------------------------------------------------------------------------------+
  18. | 2        | 0.00097000 | select * from employees where first_name='Anneke' and last_name like '%sig'    |
  19. +----------+------------+--------------------------------------------------------------------------------+
  20. 6 rows in set, 1 warning (0.00 sec)
当开启ICP时 查询在sending data环节时间消耗是 0.000189s
  1. mysql> show profile cpu,block io for query 1;
  2. +----------------------+----------+----------+------------+--------------+---------------+
  3. | Status               | Duration | CPU_user | CPU_system | Block_ops_in | Block_ops_out |
  4. +----------------------+----------+----------+------------+--------------+---------------+
  5. | starting             | 0.000094 | 0.000000 | 0.000000   | 0            | 0             |
  6. | checking permissions | 0.000011 | 0.000000 | 0.000000   | 0            | 0             |
  7. | Opening tables       | 0.000025 | 0.000000 | 0.000000   | 0            | 0             |
  8. | init                 | 0.000044 | 0.000000 | 0.000000   | 0            | 0             |
  9. | System lock          | 0.000014 | 0.000000 | 0.000000   | 0            | 0             |
  10. | optimizing           | 0.000021 | 0.000000 | 0.000000   | 0            | 0             |
  11. | statistics           | 0.000093 | 0.000000 | 0.000000   | 0            | 0             |
  12. | preparing            | 0.000024 | 0.000000 | 0.000000   | 0            | 0             |
  13. | executing            | 0.000006 | 0.000000 | 0.000000   | 0            | 0             |
  14. | Sending data         | 0.000189 | 0.000000 | 0.000000   | 0            | 0             |
  15. | end                  | 0.000019 | 0.000000 | 0.000000   | 0            | 0             |
  16. | query end            | 0.000012 | 0.000000 | 0.000000   | 0            | 0             |
  17. | closing tables       | 0.000013 | 0.000000 | 0.000000   | 0            | 0             |
  18. | freeing items        | 0.000034 | 0.000000 | 0.000000   | 0            | 0             |
  19. | cleaning up          | 0.000007 | 0.000000 | 0.000000   | 0            | 0             |
  20. +----------------------+----------+----------+------------+--------------+---------------+
  21. 15 rows in set, 1 warning (0.00 sec)
当关闭ICP时 查询在sending data环节时间消耗是 0.000735s 
  1. mysql> show profile cpu,block io for query 2;
  2. +----------------------+----------+----------+------------+--------------+---------------+
  3. | Status               | Duration | CPU_user | CPU_system | Block_ops_in | Block_ops_out |
  4. +----------------------+----------+----------+------------+--------------+---------------+
  5. | starting             | 0.000045 | 0.000000 | 0.000000   | 0            | 0             |
  6. | checking permissions | 0.000007 | 0.000000 | 0.000000   | 0            | 0             |
  7. | Opening tables       | 0.000015 | 0.000000 | 0.000000   | 0            | 0             |
  8. | init                 | 0.000024 | 0.000000 | 0.000000   | 0            | 0             |
  9. | System lock          | 0.000009 | 0.000000 | 0.000000   | 0            | 0             |
  10. | optimizing           | 0.000012 | 0.000000 | 0.000000   | 0            | 0             |
  11. | statistics           | 0.000049 | 0.000000 | 0.000000   | 0            | 0             |
  12. | preparing            | 0.000016 | 0.000000 | 0.000000   | 0            | 0             |
  13. | executing            | 0.000005 | 0.000000 | 0.000000   | 0            | 0             |
  14. | Sending data         | 0.000735 | 0.001000 | 0.000000   | 0            | 0             |
  15. | end                  | 0.000008 | 0.000000 | 0.000000   | 0            | 0             |
  16. | query end            | 0.000008 | 0.000000 | 0.000000   | 0            | 0             |
  17. | closing tables       | 0.000009 | 0.000000 | 0.000000   | 0            | 0             |
  18. | freeing items        | 0.000023 | 0.000000 | 0.000000   | 0            | 0             |
  19. | cleaning up          | 0.000007 | 0.000000 | 0.000000   | 0            | 0             |
  20. +----------------------+----------+----------+------------+--------------+---------------+
  21. 15 rows in set, 1 warning (0.00 sec)
从上面的profile 可以看出ICP 开启时整个sql 执行时间是未开启的2/3，sending data 环节的时间消耗前者仅是后者的1/4。
ICP 开启时的执行计划 含有 Using index condition 标示 ，表示优化器使用了ICP对数据访问进行优化。

  1. mysql> explain select * from employees where first_name='Anneke' and last_name like '%nta' ;
  2. +----+-------------+-----------+------+---------------+--------------+---------+-------+------+-----------------------+
  3. | id | select_type | table     | type | possible_keys | key          | key_len | ref   | rows | Extra                 |
  4. +----+-------------+-----------+------+---------------+--------------+---------+-------+------+-----------------------+
  5. | 1  | SIMPLE      | employees | ref  | idx_emp_fnln  | idx_emp_fnln | 44      | const | 224  | Using index condition |
  6. +----+-------------+-----------+------+---------------+--------------+---------+-------+------+-----------------------+
  7. 1 row in set (0.00 sec)
ICP 关闭时的执行计划显示use where.
  1. mysql> explain select * from employees where first_name='Anneke' and last_name like '%nta' ;
  2. +----+-------------+-----------+------+---------------+--------------+---------+-------+------+-------------+
  3. | id | select_type | table     | type | possible_keys | key          | key_len | ref   | rows | Extra       |
  4. +----+-------------+-----------+------+---------------+--------------+---------+-------+------+-------------+
  5. | 1  | SIMPLE      | employees | ref  | idx_emp_fnln  | idx_emp_fnln | 44      | const | 224  | Using where |
  6. +----+-------------+-----------+------+---------------+--------------+---------+-------+------+-------------+
  7. 1 row in set (0.00 sec)
案例分析
以上面的查询为例关闭ICP 时,存储引擎通前缀index first_name 访问表中225条first_name 为Anneke的数据,并在MySQL server层根据last_name like '%sig' 进行过滤
开启ICP 时，last_name 的like '%sig'条件可以通过索引字段last_name 进行过滤，在存储引擎内部通过与where条件的对比，直接过滤掉不符合条件的数据。该过程不回表,只访问符合条件的1条记录并返回给MySQL Server ,有效的减少了io访问和各层之间的交互。

ICP 关闭时 ，仅仅使用索引作为访问数据的方式。

ICP 开启时 ，MySQL将在存储引擎层 利用索引过滤数据，减少不必要的回表，注意 虚线的using where 表示如果where条件中含有没有被索引的字段，则还是要经过MySQL Server 层过滤。

四 ICP的使用限制 

1 当sql需要全表访问时,ICP的优化策略可用于range, ref, eq_ref,  ref_or_null 类型的访问数据方法 。
2 支持InnoDB和MyISAM表。
3 ICP只能用于二级索引，不能用于主索引。
4 并非全部where条件都可以用ICP筛选。
   如果where条件的字段不在索引列中,还是要读取整表的记录到server端做where过滤。
5 ICP的加速效果取决于在存储引擎内通过ICP筛选掉的数据的比例。
6 5.6 版本的不支持分表的ICP 功能，5.7 版本的开始支持。
7 当sql 使用覆盖索引时，不支持ICP 优化方法。

  1. mysql> explain select * from employees where first_name='Anneke' and last_name='Porenta' ;
  2. +----+-------------+-----------+------+---------------+--------------+---------+-------------+------+-----------------------+
  3. | id | select_type | table     | type | possible_keys | key          | key_len | ref         | rows | Extra                 |
  4. +----+-------------+-----------+------+---------------+--------------+---------+-------------+------+-----------------------+
  5. | 1  | SIMPLE | employees      | ref  | idx_emp_fnln  | idx_emp_fnln | 94      | const,const | 1    | Using index condition |
  6. +----+-------------+-----------+------+---------------+--------------+---------+-------------+------+-----------------------+
  7. 1 row in set (0.00 sec)
  8. mysql> explain select first_name,last_name from employees where first_name='Anneke' and last_name='Porenta' ;
  9. +----+-------------+-----------+------+---------------+--------------+---------+-------------+------+--------------------------+
  10. | id | select_type | table     | type | possible_keys | key          | key_len | ref         | rows | Extra                    |
  11. +----+-------------+-----------+------+---------------+--------------+---------+-------------+------+--------------------------+
  12. | 1  | SIMPLE      | employees | ref  | idx_emp_fnln  | idx_emp_fnln | 94      | const,const | 1    | Using where; Using index |
  13. +----+-------------+-----------+------+---------------+--------------+---------+-------------+------+--------------------------+
  14. 1 row in set (0.00 sec)
5   参考文章
[1]  http://dev.mysql.com/doc/refman/5.7/en/index-condition-pushdown-optimization.html
文章标签：
云数据库 RDS MySQL 版
关系型数据库
索引
存储
MySQL
SQL
关键词：
云数据库 RDS MySQL 版性能优化
云数据库 RDS MySQL 版index
云数据库 RDS MySQL 版性能优化index
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
yangyi_dba
目录
相关文章
WangBai
|
14天前
|
存储 缓存 负载均衡
mysql的性能优化
在数据库设计中，应选择合适的存储引擎（如MyISAM或InnoDB）、字段类型（如char、varchar、tinyint），并遵循范式（1NF、2NF、3NF）。功能上，可以通过索引优化、缓存和分库分表来提升性能。架构上，采用主从复制、读写分离和负载均衡可进一步提高系统稳定性和扩展性。
WangBai
33 9
半夜敲代码的夜猫子
|
5月前
|
存储 关系型数据库 MySQL
MySQL数据库进阶第三篇（MySQL性能优化）
MySQL数据库进阶第三篇（MySQL性能优化）
半夜敲代码的夜猫子
198 2
程序员小海绵
|
2月前
|
存储 SQL 关系型数据库
【MySQL调优】如何进行MySQL调优？从参数、数据建模、索引、SQL语句等方向，三万字详细解读MySQL的性能优化方案（2024版）
MySQL调优主要分为三个步骤：监控报警、排查慢SQL、MySQL调优。 排查慢SQL：开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优： 基础优化：缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表； 表设计优化：数据类型优化、冷热数据分表等。 索引优化：考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。
程序员小海绵
558 15
【MySQL调优】如何进行MySQL调优？从参数、数据建模、索引、SQL语句等方向，三万字详细解读MySQL的性能优化方案（2024版）
Star时光
|
1月前
|
存储 关系型数据库 MySQL
MySQL性能优化实践指南
【10月更文挑战第16天】MySQL性能优化实践指南
Star时光
49 0
小周sir
|
1月前
|
存储 关系型数据库 MySQL
MySQL性能优化指南
【10月更文挑战第16天】MySQL性能优化指南
小周sir
42 0
1176112968452250
|
2月前
|
存储 关系型数据库 MySQL
mysql-性能优化(一)
mysql-性能优化(一)
1176112968452250
43 2
蓝易云
|
2月前
|
关系型数据库 MySQL 数据处理
针对MySQL亿级数据的高效插入策略与性能优化技巧
在处理MySQL亿级数据的高效插入和性能优化时，以上提到的策略和技巧可以显著提升数据处理速度，减少系统负担，并保持数据的稳定性和一致性。正确实施这些策略需要深入理解MySQL的工作原理和业务需求，以便做出最适合的配置调整。
蓝易云
362 6
古明地盆
|
2月前
|
SQL 存储 关系型数据库
深入 MySQL 的执行计划与性能优化
深入 MySQL 的执行计划与性能优化
古明地盆
40 0
土木林森
|
3月前
|
存储 关系型数据库 MySQL
"深入探索MySQL临时表：性能优化利器，数据处理的灵活之选"
【8月更文挑战第9天】MySQL临时表专为存储临时数据设计，自动创建与删除，仅在当前会话中存在，有助于性能优化。它分为本地临时表和全局临时表（通过特定逻辑模拟）。创建语法类似于普通表，但加TEMPORARY或TEMP关键字。适用于性能优化、数据预处理和复杂查询，需注意内存占用和事务支持问题。合理使用可大幅提升查询效率。
土木林森
223 2
jianz123
|
4月前
|
关系型数据库 MySQL 测试技术
MySQL 报错 ERROR 1709: Index column size too large
MySQL 报错 ERROR 1709: Index column size too large
jianz123
221 4

热门文章

最新文章

  • 1
    测试开启MySQL performance_schema后对性能的影响
  • 2
    RDS入门——Excel文件转存到RDS数据库实践
  • 3
    C语言连接MySQL数据库
  • 4
    JDBC操作MySQL5日期类型字段的问题解决方法
  • 5
    MySQL的innodb_flush_log_at_trx_commit配置值的设定
  • 6
    PG+MySQL第11课-多维向量搜索
  • 7
    FAQ系列 | 启用SELinux后，PHP连接MySQL异常
  • 8
    Mariadb/Mysql TEMPORARY表
  • 9
    云原生数据仓库产品使用合集之ADB MySQL湖仓版和 StarRocks 的使用场景区别，或者 ADB 对比 StarRocks 的优劣势
  • 10
    在华为鲲鹏OpenEuler20.03系统上安装MySQL8
  • 1
    服务器Linux系统配置mysql数据库主从自动备份
    202
  • 2
    mysqlTools 一分钟部署安装本mysql多个版本，解锁繁琐部署过程
    413
  • 3
    golang使用gorm操作mysql3，数据查询
    90
  • 4
    golang使用gorm操作mysql2
    55
  • 5
    golang使用gorm操作mysql1
    102
  • 6
    Hbase与MySQL对比，区别是什么？
    278
  • 7
    解决 mysql8.0 ERROR 1045 (28000): Access denied for user ‘ODBC‘@‘localhost‘ (using password: NO)用户访问拒绝
    2102
  • 8
    navicat过期了，直接用idea连接mysql
    58
  • 9
    DQL操作MySql
    49
  • 10
    【JAVA进阶篇教学】第八篇：Java链接MySql数据库异常
    250

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • 搭建电商项目架构连接MySQL
  • 搭建4层电商项目架构，实战连接MySQL
  • PolarDB MySQL引擎重磅功能及产品能力盛大发布

    • 相关实验场景

    更多
  • 如何快速连接云数据库RDS MySQL
  • MySQL数据库快速部署实践
  • MySQL引擎及架构优化
  • 基于EBS部署高性能的MySQL服务
  • 使用CloudLens采集RDS日志并进行审计分析
  • 5分钟上手Flink MySQL连接器

    • 推荐镜像

    更多
  • mysql
  • mariadb
  • postgresql
    • 下一篇
    无影云桌面