【后端面经】【数据库与MySQL】SQL优化:如何发现SQL中的问题?-02

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
云数据库 RDS MySQL Serverless,价值2615元额度,1个月
简介: 【4月更文挑战第13天】该文介绍了几个数据库查询优化技巧。首先,创建覆盖索引如<A,B,C>能加速`select A,B,C from student where A=? and B=? and C=?`的执行。其次,为常用于排序的列建立索引,如在`id,update_time`上建索引,可避免数据排序,显著提高查询速度。优化`count(*)`可通过预估值或使用Redis记录总数,但需注意数据一致性问题。使用索引提示如FORCE INDEX可强制使用特定索引,但应谨慎。将`having`的非聚合条件移到`where`里可提升效率。最后,处理深度分页时

优化案例

覆盖索引

比如执行最多的语句是select A,B,C from student where A=? and B=? and C=?

可以直接考虑创建一个<A,B,C>组合索引。对于这个SQL来说,这个组合索引就是一个覆盖索引,避免了回表。

优化order by

查询一些数据后,都要求对数据做一定的排序,比如按update_time排序,需要将排序的列加入索引。

比如select * from student where id = 1 order by update_time这个语句,如果用户的数据比较多,这个语句执行的速度比较慢,可以在<id,update_time>上创建一个新的索引。因为在id确定以后,索引内的update_time就是有序的了,避免了再次排序的消耗,可以将查询时间从秒级降到10ms级

在所有排序场景里,都尽量使用索引来排序,这样能够有效减轻数据库的负担,加快响应速度。

优化count

select count(*)是一个很常用的计算总数的语句。但是InnoDB引擎并没有存储数据总数,就导致类似的语句执行起来特别慢。

优化count一般有两种思路

  1. 用估计值取代精确值:如果这个场景对数据的准确性不高的话,可以借助EXPLAIN返回的预估行数来拿到一个预估值。

  2. 如果需要精确值的话,可以考虑使用Redis之类的NoSQL来直接记录总数,或是直接有一个额外的表来记录总数。

    如果用Redis来维持总数的话,会涉及到数据一致性的问题。如果插入数据库失败,但是更新Redis的总数失败了怎么办?

    • 如果数据只是短时间不一致,而且这个不一致业务可以接受的话,可以考虑异步刷新Redis的总数

    • 使用Cancel之类的工具监听binlog,刷新Redis的总数

索引提示优化

在实际工作的时候,如果有的时候数据库的执行比较奇怪,不用索引或用了错误的索引,就可以考虑通过FORCE INDEX、USE INDEX 和 IGNORE INDEX 这些索引提示来纠正数据库的行为。但是这个本身并不是什么好的实践,还是要谨慎。

where替换having

一般来说,数据库都是先根据where条件找到候选的列,再根据having条件进行二次过滤。如果将having的部分条件提前到where里,就可以提前把不符合条件的数据过滤掉了。

规律:如果不是使用聚合函数来作为过滤条件,最好还是将过滤条件优先写到where里。

SQL执行顺序相关问题

深度分页问题优化分页的偏移量

有一些SQL在在不断执行中会产生极大的偏移量,比如文章分页,一页50条数据,当要拿101页的数据,需要写成LIMIT 5000,505000就是偏移量。实际执行的时候,数据库需要读出5050条数据,然后把前面的5000条都丢掉,只保留50条。

优化思路是使用小偏移量。比如在原先的查询语句加where id > max_id的条件,这个max_id就是上一批的最大ID,这样可以保证LIMIT的偏移量永远是0。很多时候因为测试环境数据量小,这种性能问题很难被发现,所有使用分页的查询都应该考虑引入类似的查询条件。

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
8天前
|
SQL 关系型数据库 MySQL
数据库开发之SQL简介以及DDL的详细解析
数据库开发之SQL简介以及DDL的详细解析
23 0
|
6天前
|
SQL Java 数据库连接
Java从入门到精通:2.3.2数据库编程——了解SQL语言,编写基本查询语句
Java从入门到精通:2.3.2数据库编程——了解SQL语言,编写基本查询语句
|
7天前
|
SQL 关系型数据库 MySQL
快速学习MySQL SQL语句
快速学习MySQL SQL语句
|
8天前
|
SQL XML 数据库
sql导入数据库命令
在SQL Server中,数据库导入可通过多种方式实现:1) 使用SSMS的“导入数据”向导从各种源(如Excel、CSV)导入;2) BULK INSERT语句适用于导入文本文件;3) bcp命令行工具进行批量数据交换;4) OPENROWSET函数直接从外部数据源(如Excel)插入数据。在操作前,请记得备份数据库,并可能需对数据进行预处理以符合SQL Server要求。注意不同方法可能依版本和配置而异。
|
11天前
|
SQL Oracle 关系型数据库
Oracle SQL*Plus的SPOOL命令:数据库世界的“录像机”
【4月更文挑战第19天】`SQL*Plus`的`SPOOL`命令是Oracle数据库中的“录像机”,能记录所有操作和输出。它在用户开始“SPOOL ON”时启动,记录SQL查询、输出、错误信息等。完成后,“SPOOL OFF”停止记录并生成日志文件,便于回顾和检查。日志文件可自定义保存位置和命名,支持多文件录制,方便分类管理。无论数据分析、SQL脚本编写还是日常维护,`SPOOL`都是强大的工具,值得一试!
|
11天前
|
SQL Oracle 关系型数据库
Oracle SQL*Plus的HELP命令:你的数据库“百事通”
【4月更文挑战第19天】`Oracle SQL*Plus` 的 `HELP` 命令是数据库查询的强大工具,犹如“百事通”。在遇到困惑时,`HELP` 可提供详细命令解释和用法示例,解答基础到高级的 SQL 和 PL/SQL 疑问。它还是“活字典”,揭示命令关联与区别,如 `SET` 和 `ALTER SESSION`。此外,`HELP` 解释数据库概念,如“事务”,并支持模糊查询。无论新手还是专家,`HELP` 都是数据库探索的得力助手。
|
11天前
|
SQL Oracle 关系型数据库
Oracle SQL*Plus的SET命令:你的数据库会话“调色板”
【4月更文挑战第19天】Oracle SQL*Plus的SET命令是数据库会话的“调色板”,用于设置输出格式、反馈信息和各种偏好。它能调整PAGESIZE和LINESIZE以优化显示,控制ECHO和FEEDBACK开关以定制反馈,以及统计命令执行时间(TIMING)和调试SQL(VERIFY)。更高级的选项如HEADING和COLSEP可改善输出的可读性。通过灵活运用SET命令,能提升工作效率和体验,是数据库管理员和开发者的必备工具。
|
12天前
|
SQL Oracle 关系型数据库
常用数据库的分页语句(mySQL、oracle、PostgreSQL、SQL Server)
常用数据库的分页语句(mySQL、oracle、PostgreSQL、SQL Server)
|
15天前
|
SQL 数据库
数据库SQL语言实战(二)
数据库SQL语言实战(二)
|
15天前
|
SQL 关系型数据库 数据库
【后端面经】【数据库与MySQL】SQL优化:如何发现SQL中的问题?
【4月更文挑战第12天】数据库优化涉及硬件升级、操作系统调整、服务器/引擎优化和SQL优化。SQL优化目标是减少磁盘IO和内存/CPU消耗。`EXPLAIN`命令用于检查SQL执行计划,关注`type`、`possible_keys`、`key`、`rows`和`filtered`字段。设计索引时考虑外键、频繁出现在`where`、`order by`和关联查询中的列,以及区分度高的列。大数据表改结构需谨慎,可能需要停机、低峰期变更或新建表。面试中应准备SQL优化案例,如覆盖索引、优化`order by`、`count`和索引提示。优化分页查询时避免大偏移量,可利用上一批的最大ID进行限制。
64 3