干货总结-全面解析SQL优化

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 干货总结-全面解析SQL优化

这是我的第11篇原创


有朋友说让讲讲SQL的调优,其实这类文章全网都是。想说点自己的理解,又怕写的又臭又长。所以先把提纲列前面,没有帮助的同学可以直接关掉了。

SQL优化,总共可以分为三层:数据库系统、数据库设计、程序设计。我按照先易后难的顺序,又分为表设计优化、查询优化、索引优化、架构优化、业务优化5方面:


目录


通常来说SQL优化指的都是查询优化,但是最坑的是我们的对手 遇不安套路出牌,很多挑战通常不能用SQL技巧解决。


①影响性能的原因


影响SQL性能的原因有很多,最令人头疼的是需求侧。业务方不关心你的sql怎么写,他们只要结果,甚至有些时候技术端也会出一些奇葩的要求。

架构侧导致的问题也挺多的,典型的问题是分页、过度退化(业务 宽表)等。

其实数据侧的问题是比较容易达成共识,并解决的。

所有的SQL性能低的原因中,SQL本身的原因是最容易解决的。


②表设计优化

  • 编码规则设计:

开发设计的树形结构设计一般只增加一个父ID,其实我们还可以增加业务code和层级标识。业务code一般会有编码规则,以中国行政地区代码为例,每2位代表一层,随便拿一个code,通过字段截取,就能直接查到任意父节点对应的内容。


数仓建设的时候,抽离三级地区维度也非常容易,限定layer层即可。

  • 扩展信息表

将核心信息放在主表中,将写频繁、新增的字段放在扩展信息表中,进行部分业务的解耦。设计是一个平衡的过程,跨表则多一次关联,都放一起则造成臃肿。

  • 字段选择

tips:大文本、图片建议存文件,数据库中存路径即可。


③查询优化

基本思路:

1、有大炮,就别用手枪。查询要走索引

2、溺水三千只取一瓢,不要select *

3、数据库是用来存的,不是用来算的,查就查,不要算


工具(以MySQL为例):

1、用Explain查看 SQL 执行计划:

可以发现主要拖慢效率的内容,比如某个表数据量大,资源消耗多。

2、通过 Profile 查阅每一步的资源消耗:

可以发现每一步的资源消耗,涉及多少数据,消耗多少时间等。

3、通过 Optimizer Trace 表查看 SQL 优化器生成执行计划的过程,逐步优化时好用。


基本上用explain和profile就能掌握sql执行的所有消耗,然后根据以下原则,进行优化,顺便开启Optimizer Trace看看自己优化的是否对路:


1、禁止使用“%”前导的查询

2、所有表都加别名,需要加在所有字段前面match

3、用union代替or

4、null 值判断、!=或<>操作符会导致全表扫描

5、用between、exists代替in,用not exists 代替not in

6、禁止使用select *

7、小结果集join大结果集

8、使用limit

9、减少where中对字段的计算操作


④索引优化

上面的SQL优化技巧中,禁止的原因基本是使索引失效。索引太重要了,因此单列一章详细讲讲。


索引的设计:

1、单张表中索引数量不超过5个;

2、单个索引字段数不超过5个;

3、频繁修改的字段上不建议建索引;

4、区分度越大,索引效果越好;性别字段建索引,等于没建;

5、索引字段尽量短,尽量选择数字字段

6、在查询、排序、分组、where判定频繁的字段上建索引

7、经常删数据的表,定期清理

8、用join代替子查询


索引的使用:

禁止在索引列进行数学运算;

使用联合索引时,按顺序查询(索引的最左原则);

尽量在索引同时满足查询和排序;

字符串索引使用前缀索引,前缀长度不超过10个字符;

索引join时,使用的字段类型要一样;


⑤架构优化

架构层面轻易不动,一动就是大工程,其核心是分开:

1、主从+读写分离

2、分库分表


数据库事务主要就是读和写,这俩分开之后读操作可以占有服务器的所有资源,自然就快了。

分库是垂直切分,按照业务领域,将关系比较紧密的表分到同一个库中,原本一个数据库垂直切分为N个业务库,每个库的压力就小了,效率就高了。

分表是水平切分,对某个表按规则横向切分成N个小表,单表数据量就变小了,查询效率也就变高了。

点我查看“单表超大数据量处理-水平切割法”文章


⑥业务优化

如同开篇所提,我们遇到的难解的问题,来自于需求侧的比较多,也更为棘手,甚至是无法解决。在这里提几个常用技巧:


1、需求转换

摸清对方真实需求,有些时候只是想为他的论点找论据而已。

2、替代方案

一个新指标的数据逻辑太复杂,可以考虑用其他已有指标代替,能表达他的意思即可。

3、降低期望

他说饿了,不一定要给一碗鲍鱼炒饭,一个馒头也是可以的。

相关文章
|
9天前
|
SQL 缓存 监控
大厂面试高频:4 大性能优化策略(数据库、SQL、JVM等)
本文详细解析了数据库、缓存、异步处理和Web性能优化四大策略,系统性能优化必知必备,大厂面试高频。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
大厂面试高频:4 大性能优化策略(数据库、SQL、JVM等)
|
17天前
|
SQL 存储 缓存
如何优化SQL查询性能?
【10月更文挑战第28天】如何优化SQL查询性能?
61 10
|
16天前
|
SQL 存储 缓存
SQL Server 数据太多如何优化
11种优化方案供你参考,优化 SQL Server 数据库性能得从多个方面着手,包括硬件配置、数据库结构、查询优化、索引管理、分区分表、并行处理等。通过合理的索引、查询优化、数据分区等技术,可以在数据量增大时保持较好的性能。同时,定期进行数据库维护和清理,保证数据库高效运行。
|
30天前
|
SQL 资源调度 分布式计算
如何让SQL跑快一点?(优化指南)
这篇文章主要探讨了如何在阿里云MaxCompute(原ODPS)平台上对SQL任务进行优化,特别是针对大数据处理和分析场景下的性能优化。
|
26天前
|
人工智能 Cloud Native Java
云原生技术深度解析:从IO优化到AI处理
【10月更文挑战第24天】在当今数字化时代,云计算已经成为企业IT架构的核心。云原生作为云计算的最新演进形态,旨在通过一系列先进的技术和实践,帮助企业构建高效、弹性、可观测的应用系统。本文将从IO优化、key问题解决、多线程意义以及AI处理等多个维度,深入探讨云原生技术的内涵与外延,并结合Java和AI技术给出相应的示例。
86 1
|
10天前
|
SQL 监控 安全
员工上网行为监控软件:SQL 在数据查询监控中的应用解析
在数字化办公环境中,员工上网行为监控软件对企业网络安全和管理至关重要。通过 SQL 查询和分析数据库中的数据,企业可以精准了解员工的上网行为,包括基础查询、复杂条件查询、数据统计与分析等,从而提高网络管理和安全防护的效率。
23 0
|
1月前
|
SQL 监控 数据库
SQL语句是否都需要解析及其相关技巧和方法
在数据库管理中,SQL(结构化查询语言)语句的使用无处不在,它们负责数据的查询、插入、更新和删除等操作
|
19天前
|
机器学习/深度学习 Android开发 UED
移动应用与系统:从开发到优化的全面解析
【10月更文挑战第25天】 在数字化时代,移动应用已成为我们生活的重要组成部分。本文将深入探讨移动应用的开发过程、移动操作系统的角色,以及如何对移动应用进行优化以提高用户体验和性能。我们将通过分析具体案例,揭示移动应用成功的关键因素,并提供实用的开发和优化策略。
|
27天前
|
存储 Kubernetes 监控
深度解析Kubernetes在微服务架构中的应用与优化
【10月更文挑战第18天】深度解析Kubernetes在微服务架构中的应用与优化
101 0
|
1月前
|
SQL 数据可视化 BI
SQL语句及查询结果解析:技巧与方法
在数据库管理和数据分析中,SQL语句扮演着至关重要的角色

推荐镜像

更多