⑩③【MySQL】详解SQL优化

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: ⑩③【MySQL】详解SQL优化


⑩③【MySQL】了解并掌握SQL优化


1. 插入数据 优化

insert优化

  • ⚪使用批量插入


  • 手动提交事务(每次SQL语句执行后事务自动提交,手动提交避免了多次提交,提升效率)


  • ⚪使用主键顺序插入(顺序比乱序速度更快,性能更高)



大批量插入数据

如果一次性需要插入大批量数据,使用insert语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入。操作如下:

# (命令行)客户端连接数据库时,加上参数: --local-infile
mysql --local-infile -u root -p
-- 查看从本地加载文件导入数据的开关是否开启
select @@local_infile;
-- 设置全局参数local_infile为1,表示开启从本地加载文件导入数据的开关。
set global local_infile=1;
-- 执行load指令将准备好的数据,加载到表结构中
-- 加载文件: /root/sql.log 中的数据插入表
-- 字段间使用 逗号',' 分隔
-- 行间使用 换行'\n' 分隔
load data local infile '/root/sql.log' into table `表名` fields terminated by ',' lines terminated by '\n';




2. 主键优化

数据组织方式

  • 在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表(index organized table 简称IOT)。


页分裂

  • 页可以为空,也可以填充一半,也可以填充100%。每个页包含了至少2行数据(如果一行数据多大,会行溢出),根据主键排列。

分裂后插入↓

重新设置指针↓


页合并

  • 当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用。
  • 当页中删除的记录达到MERGE_THRESHOLD(默认为页的50%),InnoDB会开始寻找最靠近的页(前或后)看看是否可以将两个页合并以优化空间使用

合并↓


主键设计原则

  • 主键设计原则:
  • ①在满足业务需求的情况下,尽量降低主键的长度
  • ②插入数据时,尽量选择顺序插入,选择使用AUTO_INCREMENT自增主键。
  • 尽量不要使用UUID做为主键或者作为其他自然主键,如身份证号。
  • ④在业务操作时,尽量避免对主键的修改




3. order by 排序优化

order by 优化

①. Using filesort : 通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区sort buffer中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫FileSort排序。

②. Using index : 通过有序索引顺序扫描直接返回有序数据,这种情况即为using index,.不需要额外排序,操作效率高。

排序效率:Using index > Using filesort


  • order by优化策略:
  • ①根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则。
-- 没有建立索引时,排序性能为:`Using filesort`
explain select id,age,phone from tb_user order by age,phone;
-- 为排序字段建立合适索引
create index idx_age_phone_aa on tb_user(age,phone);
-- 等价于:
create index idx_age_phone_aa on tb_user(age asc,phone asc);
-- 建立索引后,排序性能提升为:`Using index`
  • ②尽量使用覆盖索引,非覆盖索引需要回表查询,会从Using index 变为 Using filesort。
  • ③多字段排序,一个升序一个降序,此时需要注意联合索引在创建时的规则(ASC\DESC)。
-- 一个升序一个降序
select id,age,phone from tb_user order by age asc,phone desc;
-- 注意联合索引在创建时的规则
create index idx_age_phone_ad on tb_user(age asc,phone desc);

  • 如果不可避免地出现filesort,大数据量排序时,可以适当增大排序缓冲区sort_buffer_size的大小(默认256k)。
-- 查看参数sort_buffer_size大小
show variables like 'sort_buffer_size';
-- 设置参数sort_buffer_size大小
set sort_buffer_size=自定义的大小;




4. group by 分组优化

  • 根据分组字段建立合适的索引来提高效率。
  • 分组操作时,多字段通过联合索引排序也是遵循最左前缀法则的。
-- 如何建立合适索引:建议使用联合索引,可参考上文的order by优化




5. limit 分页优化

一个常见又非常头疼的问题就是大数据量的分页,如:limit2000000,10,此时需要MySQL排序前2000010记录,仅仅返回2000000到2000010的记录,其他记录丢弃,查询排序的代价非常大。

  • 优化策略
  • 一般分页查询时,通过建立覆盖索引能够较好提升性能,可通过覆盖索引+子查询形式进行优化。
-- 优化前:
select * from tb_sku limit 2000000,10;
-- 优化后
-- 子查询的id字段存在主键索引,order by性能得到优化
-- 根据子查询的到的主键字段id进行查询,效率高。
select s.* from 
tb_sku s,(select id from tb_sku order by id limit 2000000,10) i
where s.id = i.id;




6. count 优化

count()

  • count()是一个聚合函数,对于返回的结果集,一行行地判断,如果count()函数的参数不是NULL,累计值就加1,否则不加,最后返回累计值。(只记录不为NULL的记录)
  • **用法:**count(*)、count(主键)、count(字段)、count(1)
  • count(*)
  • InnoDB引擎并不会把全部字段取出来,而是专门做了优化不取值,服务层直接按行进行累加

  • count(主键)
  • InnoDB引擎会遍历整张表,把每一行的主键id值都取出来,返回给服务层。服务层拿到主键后,直接按行进行累加(主键不可能为NULL)。

  • count(字段)
  • **没有not null约束:**InnoDB引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,服务层判断是否为null,不为null,计数累加。
  • **有not null约束:**InnoDB引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,直接按行进行累加。

  • count(1)
  • lnnoDB引擎遍历整张表,但不取值。服务层对于返回的每一行,放一个数字“1”进去,直接按行进行累加。





7. update 更新优化

需要优化的问题

  • InnoDB的行锁是针对索引加的锁,不是针对记录加的锁,更新没有索引的记录或索引失效,使用的锁会从行锁变为表锁。
  • 使用表锁会使并发性能下降,所以应当经可能去更新 使用了索引的字段。




相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
4
分享
相关文章
MySQL底层概述—8.JOIN排序索引优化
本文主要介绍了MySQL中几种关键的优化技术和概念,包括Join算法原理、IN和EXISTS函数的使用场景、索引排序与额外排序(Using filesort)的区别及优化方法、以及单表和多表查询的索引优化策略。
109 22
MySQL底层概述—8.JOIN排序索引优化
【YashanDB知识库】如何将mysql含有group by的SQL转换成崖山支持的SQL
本文探讨了在YashanDB(崖山数据库)中执行某些SQL语句时出现的报错问题,对比了MySQL的成功执行结果。问题源于SQL-92标准对非聚合列的严格限制,要求这些列必须出现在GROUP BY子句中,而SQL:1999及更高版本允许非聚合列直接出现在选择列中。YashanDB和Oracle遵循SQL-92标准,因此会报错。文章提供了两种解决方法:使用聚合函数处理非聚合列,或将GROUP BY与ORDER BY拆分为两层查询。最后总结指出,SQL-92标准更为严谨合理,建议开发者遵循此规范以避免潜在问题。
基于SQL Server / MySQL进行百万条数据过滤优化方案
对百万级别数据进行高效过滤查询,需要综合使用索引、查询优化、表分区、统计信息和视图等技术手段。通过合理的数据库设计和查询优化,可以显著提升查询性能,确保系统的高效稳定运行。
48 9
MySQL的架构与SQL语句执行过程
MySQL架构分为Server层和存储引擎层,具有高度灵活性和可扩展性。Server层包括连接器、查询缓存(MySQL 8.0已移除)、分析器、优化器和执行器,负责处理SQL语句;存储引擎层负责数据的存储和读取,常见引擎有InnoDB、MyISAM和Memory。SQL执行过程涉及连接、解析、优化、执行和结果返回等步骤,本文详细讲解了一条SQL语句的完整执行过程。
49 3
MySQL和SQLSugar百万条数据查询分页优化
在面对百万条数据的查询时,优化MySQL和SQLSugar的分页性能是非常重要的。通过合理使用索引、调整查询语句、使用缓存以及采用高效的分页策略,可以显著提高查询效率。本文介绍的技巧和方法,可以为开发人员在数据处理和查询优化中提供有效的指导,提升系统的性能和用户体验。掌握这些技巧后,您可以在处理海量数据时更加游刃有余。
100 9
图解MySQL【日志】——磁盘 I/O 次数过高时优化的办法
当 MySQL 磁盘 I/O 次数过高时,可通过调整参数优化。控制刷盘时机以降低频率:组提交参数 `binlog_group_commit_sync_delay` 和 `binlog_group_commit_sync_no_delay_count` 调整等待时间和事务数量;`sync_binlog=N` 设置 write 和 fsync 频率,`innodb_flush_log_at_trx_commit=2` 使提交时只写入 Redo Log 文件,由 OS 择机持久化,但两者在 OS 崩溃时有丢失数据风险。
48 3
【YashanDB 知识库】如何将 mysql 含有 group by 的 SQL 转换成崖山支持的 SQL
在崖山数据库中执行某些 SQL 语句时出现报错(YAS-04316 not a single-group group function),而这些语句在 MySQL 中能成功执行。原因是崖山遵循 SQL-92 标准,不允许选择列表中包含未在 GROUP BY 子句中指定的非聚合列,而 MySQL 默认允许这种操作。解决办法包括:使用聚合函数处理非聚合列或拆分查询为两层,先进行 GROUP BY 再排序。总结来说,SQL-92 更严格,确保数据一致性,MySQL 在 5.7 及以上版本也默认遵循此标准。
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
114 82
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等