秒级的 SQL 查询提升方案

简介: 秒级的 SQL 查询提升方案

秒级的 SQL 查询提升方案


从经验上来看,在数据库层面的请求应答时间必须在100ms 以内,秒级的SQL

查询通常存在巨大的性能提升空间,有如下应对方案:


  1. 建立高效且合适的索引:索引谁都可以建,但要想建好难度极大。因为索引既有数据特征,又有业务特征,数据量的变化会影响索引的选择,业务特点不一样,索引的优化思路也不一样。通常某个字段平时不用,但是某种触发场景下命中"索引缺失"的字段会导致查询瞬间变慢。所以,要事先明确业务场景,建立合适的索引。
  2. 查连接资源未显式关闭的情形:要特别注意在 ThreadLocal 或流式计算中使用数据库连接的地方。
  3. 合并短的请求:根据CPU的空间局部性原理,对于相近的数据,CPU会一起提取到内存中。另外,合并请求也可以有效减少连接的次数。
  4. 合理拆分多个表join的SQL,若是超过三个表则禁止join: 如果表结构建得不合理,应用逻辑处理不当,业务模型抽象有问题,那么三表join的数据量由于笛卡儿积操作会呈几何级数增加,所以不推荐这样的做法。另外,对于需要join的字段,数据类型应保持绝对一致。多表关联查询时,应确保被关联的字段要有索引。
  5. 使用临时表:某种情况下,该方法是种比较好的选择。 曾经遇到一个场景不使用临时表需要执行I个多小时,使用临时表可以降低至2分钟以内。因为在不断的嵌套查询中,已经无法很好地利用现有的索引提升查询效率,所以把中间结果保存到临时表,然后重建索引,再通过临时表进行后续的数据操作。
  6. 应用层优化:包括进行数据结构优化、并发多线程改造等。
  7. 改用其他数据库:因为不同数据库针对的业务场景是不同的,比如 Cassandra、MongoDB。


目录
相关文章
|
1天前
|
SQL 监控 关系型数据库
SQL语句当前及历史信息查询-performance schema的使用
本文介绍了如何使用MySQL的Performance Schema来获取SQL语句的当前和历史执行信息。Performance Schema默认在MySQL 8.0中启用,可以通过查询相关表来获取详细的SQL执行信息,包括当前执行的SQL、历史执行记录和统计汇总信息,从而快速定位和解决性能瓶颈。
|
13天前
|
SQL 存储 缓存
如何优化SQL查询性能?
【10月更文挑战第28天】如何优化SQL查询性能?
53 10
|
7天前
|
SQL 关系型数据库 MySQL
|
20天前
|
SQL 数据库 开发者
功能发布-自定义SQL查询
本期主要为大家介绍ClkLog九月上线的新功能-自定义SQL查询。
|
27天前
|
SQL 移动开发 Oracle
SQL语句实现查询连续六天数据的方法与技巧
在数据库查询中,有时需要筛选出符合特定时间连续性条件的数据记录
|
1月前
|
SQL Java 数据库连接
如何使用`DriverManager.getConnection()`连接数据库,并利用`PreparedStatement`执行参数化查询,有效防止SQL注入。
【10月更文挑战第6天】在代码与逻辑交织的世界中,我从一名数据库新手出发,通过不断探索与实践,最终成为熟练掌握JDBC的开发者。这段旅程充满挑战与惊喜,从建立数据库连接到执行SQL语句,再到理解事务管理和批处理等高级功能,每一步都让我对JDBC有了更深的认识。示例代码展示了如何使用`DriverManager.getConnection()`连接数据库,并利用`PreparedStatement`执行参数化查询,有效防止SQL注入。
79 5
|
1月前
|
SQL 数据挖掘 数据库
SQL查询每秒的数据:技巧、方法与性能优化
id="">SQL查询功能详解 SQL(Structured Query Language,结构化查询语言)是一种专门用于与数据库进行沟通和操作的语言
|
1月前
|
SQL 移动开发 大数据
SQL语句查询连续六天满足条件的记录
在数据库管理和数据分析中,我们经常需要查询符合特定时间范围内连续几天的记录
|
1月前
|
SQL 数据挖掘 关系型数据库
SQL查询次数大于1的记录:高效技巧与方法
在数据库管理中,经常需要统计某些操作的次数,特别是当需要找出哪些记录或值出现的次数超过一定阈值(如大于1次)时
|
1月前
|
SQL 存储 安全
SQL查询数据库:基础概念与操作指南
在数字化时代,数据库已成为信息管理的重要工具之一。作为管理和操作数据库的核心语言,SQL(结构化查询语言)已成为数据管理和查询的关键技能。本文将全面介绍SQL查询数据库的基本概念、语句和操作指南,以帮助初学者快速上手,同时为进阶用户提供有价值的参考。一、数据库与SQL简介数据库是一种存储、管理和检索
39 3