MySQL 优化之前缀索引

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

接近三年的MySQL 运维经验,近期决定把曾经做过的优化案例拿出来和大家分享!

MySQL优化绝对要了解业务,和开发沟通才能做到最好。以下是一个小案例,说明一下前缀索引的用法。

1.查看表结构
(root@localhost) [prod_db]> show create table t_file_info\G;
*************************** 1. row ***************************
       Table: t_file_info
Create Table: CREATE TABLE `t_file_info` (
  `id` varchar(36) NOT NULL DEFAULT '',
  `devid` varchar(64) DEFAULT NULL,
  `areaid` int(11) DEFAULT NULL,
  `fileid` varchar(256) NOT NULL,
  `filename` varchar(256) DEFAULT NULL,
  `filesize` int(11) DEFAULT NULL,
  `filemd5` varchar(40) DEFAULT NULL,
  `extend` varchar(4000) DEFAULT NULL,
  `status` int(11) NOT NULL DEFAULT '0',
  `createdate` datetime DEFAULT NULL,
  `fileurl` varchar(256) DEFAULT NULL,
  `businessid` bigint(20) NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

2.fileid是我们查询的一个条件,正常是需要创建索引的。

 select char_length('63f2a078018649ca9948f5469550bf2a/group1/M00/00/DA/wKgj2FcMquGAVuJcAAAI4FL7ZCA388.jpg') ;
+-----------------------------------------------------------------------------------------------------+
| char_length('63f2a078018649ca9948f5469550bf2a/group1/M00/00/DA/wKgj2FcMquGAVuJcAAAI4FL7ZCA388.jpg') |
+-----------------------------------------------------------------------------------------------------+
|                                                                                                  84 |
+-----------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
--经过和开发沟通了解,前32位相当于uuid可以确定唯一值。

3.这样的字段,我们怎么创建索引,是不是有规律可循。继续查看

--查看选择率
select count(distinct(fileid))/count(*) AS Selectivity from t_file_info;

select count(distinct left(fileid,32))/count(*) from t_file_info;

(root@localhost) [prod_db]> select count(distinct(fileid))/count(*) from t_file_info;
+----------------------------------+
| count(distinct(fileid))/count(*) |
+----------------------------------+
|                           1.0000 |
+----------------------------------+
1 row in set (0.17 sec)

(root@localhost) [prod_db]> select count(distinct left(fileid,32))/count(*) from t_file_info;
+------------------------------------------+
| count(distinct left(fileid,32))/count(*) |
+------------------------------------------+
|                                   0.9999 |
+------------------------------------------+
1和0.9999几乎可以等同,其实这里因为点特殊情况,正常应该都是1才对的。

4.查看无索引的执行计划

explain select id,fileid from prod_db.t_file_info where fileid='63f2a078018649ca9948f5469550bf2a/group1/M00/00/DA/wKgj2FcMquGAVuJcAAAI4FL7ZCA388.jpg';

(root@localhost) [prod_db]> explain select id,fileid from prod_db.t_file_info where fileid='63f2a078018649ca9948f5469550bf2a/group1/M00/00/DA/wKgj2FcMquGAVuJcAAAI4FL7ZCA388.jpg';
+----+-------------+-------------+------+---------------+------+---------+------+-------+-------------+
| id | select_type | table       | type | possible_keys | key  | key_len | ref  | rows  | Extra       |
+----+-------------+-------------+------+---------------+------+---------+------+-------+-------------+
|  1 | SIMPLE      | t_file_info | ALL  | NULL          | NULL | NULL    | NULL | 35109 | Using where |
+----+-------------+-------------+------+---------------+------+---------+------+-------+-------------+
1 row in set (0.00 sec)

5.创建前缀索引,查看执行计划

alter table `prod_db`.`t_file_info` add index idx_t_file_info_fileid(fileid(32));

(root@localhost) [prod_db]> explain select id,fileid from prod_db.t_file_info where fileid='63f2a078018649ca9948f5469550bf2a/group1/M00/00/DA/wKgj2FcMquGAVuJcAAAI4FL7ZCA388.jpg';
+----+-------------+-------------+------+------------------------+------------------------+---------+-------+------+-------------+
| id | select_type | table       | type | possible_keys          | key                    | key_len | ref   | rows | Extra       |
+----+-------------+-------------+------+------------------------+------------------------+---------+-------+------+-------------+
|  1 | SIMPLE      | t_file_info | ref  | idx_t_file_info_fileid | idx_t_file_info_fileid | 98      | const |    1 | Using where |
+----+-------------+-------------+------+
--返回1行才是我们想看到的

6.创建索引

(root@localhost) [prod_db]> alter table `prod_db`.`t_file_info` add index idx_t_file_info_fileid(fileid(32));
Query OK, 0 rows affected (5 min 36.03 sec)
Records: 0  Duplicates: 0  Warnings: 0

创建索引观察系统资源使用情况,内存机会没有变化,但是CPU单核几乎跑满

(root@localhost) [prod_db]> select count(fileid) from t_file_info;
+---------------+
| count(fileid) |
+---------------+
|      12299419 |
+---------------+
1 row in set (14.94 sec) --千万行

小结:
1.了解前缀索引的实用场景。
2.要和开发沟通,了解业务,才能创建最合适的索引。
3.创建索引对系统性能会有很大的影响,要选择一个合适的时间点去创建,评估好影响。任何事情不要想当然,当你没经验,还想当然的时候很容易出问题。










本文转自 roidba 51CTO博客,原文链接:http://blog.51cto.com/roidba/2051546,如需转载请自行联系原作者

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
3天前
|
存储 自然语言处理 关系型数据库
MySQL高级篇——索引的创建与设计原则
索引的分类与使用、MySQL8.0索引新特性、适合创建索引的情况、不适合创建索引的情况
MySQL高级篇——索引的创建与设计原则
|
3天前
|
存储 SQL 关系型数据库
MySQL高级篇——索引失效的11种情况
索引优化思路、要尽量满足全值匹配、最佳左前缀法则、主键插入顺序尽量自增、计算、函数导致索引失效、类型转换(手动或自动)导致索引失效、范围条件右边的列索引失效、不等于符号导致索引失效、is not null、not like无法使用索引、左模糊查询导致索引失效、“OR”前后存在非索引列,导致索引失效、不同字符集导致索引失败,建议utf8mb4
MySQL高级篇——索引失效的11种情况
|
11天前
|
存储 关系型数据库 MySQL
MySQL基础:索引
MySQL中的索引是一种数据结构,能大幅提升数据库查询效率和减少I/O成本,类似于书的目录帮助快速定位内容。其优势包括提高检索效率和降低排序成本,但会占用空间并影响更新表的效率。鉴于查询远多于更新,索引仍被推荐使用。索引分为多种类型,如B+树和哈希索引,其中B+树因其较低的高度和稳定的查询开销成为常用选择。创建和删除索引需谨慎,以免影响性能。
38 4
MySQL基础:索引
|
28天前
|
SQL 监控 关系型数据库
MySQL优化: CPU高 处理脚本 pt-kill脚本
MySQL优化: CPU高 处理脚本 pt-kill脚本
|
2天前
|
存储 SQL 关系型数据库
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
MySQL调优主要分为三个步骤:监控报警、排查慢SQL、MySQL调优。 排查慢SQL:开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优: 基础优化:缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表; 表设计优化:数据类型优化、冷热数据分表等。 索引优化:考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
|
3天前
|
SQL 缓存 关系型数据库
MySQL高级篇——关联查询和子查询优化
左外连接:优先右表创建索引,连接字段类型要一致、内连接:驱动表由数据量和索引决定、 join语句原理、子查询优化:拆开查询或优化成连接查询
MySQL高级篇——关联查询和子查询优化
|
3天前
|
存储 缓存 关系型数据库
MySQL高级篇——存储引擎和索引
MyISAM:不支持外键和事务,表锁不适合高并发,只缓存索引,内存要求低,查询快MyISAM提供了大量的特性,包括全文索引、压缩、空间函数(GIS)等,但MyISAM不支持事务、行级锁、外键,有一个毫无疑问的缺陷就是崩溃后无法安全恢复。5.5之前默认的存储引擎优势是访问的速度快,对事务完整性没有要求或者以SELECT、INSERT为主的应用针对数据统计有额外的常数存储。故而 count(*) 的查询效率很高表名.frm 存储表结构;表名.MYD 存储数据 (MYData);
MySQL高级篇——存储引擎和索引
|
3天前
|
算法 关系型数据库 MySQL
MySQL高级篇——排序、分组、分页优化
排序优化建议、案例验证、范围查询时索引字段选择、filesort调优、双路排序和单路排序、分组优化、带排序的深分页优化
MySQL高级篇——排序、分组、分页优化
|
3天前
|
存储 关系型数据库 MySQL
MySQL高级篇——覆盖索引、前缀索引、索引下推、SQL优化、主键设计
覆盖索引、前缀索引、索引下推、SQL优化、EXISTS 和 IN 的区分、建议COUNT(*)或COUNT(1)、建议SELECT(字段)而不是SELECT(*)、LIMIT 1 对优化的影响、多使用COMMIT、主键设计、自增主键的缺点、淘宝订单号的主键设计、MySQL 8.0改造UUID为有序
MySQL高级篇——覆盖索引、前缀索引、索引下推、SQL优化、主键设计
|
27天前
|
缓存 关系型数据库 MySQL
在Linux中,如何优化MySQL性能,包括索引优化和查询分析?
在Linux中,如何优化MySQL性能,包括索引优化和查询分析?

热门文章

最新文章