一种解决MySQL多表查询在多个条件下缺少数据集的方法,附带解决查询慢的问题

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 一种解决MySQL多表查询在多个条件下缺少数据集的方法,附带解决查询慢的问题

一、问题分析


有两张表,一个是历史数据表,包含设备地理位置等信息;一个是部门表,每个设备对应一个部门。


网站前端的界面需要显示所有的历史数据和对应的部门,按照原来的左连接查询方法,在20万条数据前提下,结果查询时间为150s。因为在该方法下将主表的历史数据和副表进行联合查询,需要全表遍历,这种方案在数据量小的情况下可以实施,但是数据库表达到了几十万条后,就不再适用。


请记住,查询时间慢最基本原因是访问的数据太多。


二、解决方案


针对查询数据太多的问题,一般从以下两个方向入手:


  1. 应用程序检索大量超过需要的数据;
  2. MySQL服务器层分析大量超过需要的数据行;


导致上述问题的原因是第二个,网站前端只需要显示前10条、前20条、 … 、前90条。而先连接再分页导致每一行主表记录都要关联副表,最后只要前10*N条,MySQL服务器层分析大量超过需要的数据行。


而解决MySQL服务器层分析大量超过需要的数据行的问题,从以下几个指标进行衡量:


  1. 响应时间(快速上线估计值)
  2. 扫描的行数
  3. 返回的行数


得到数据集的方式有几种,和访问类型有关,访问类型依次从慢到快有以下几种,扫描的行数也是依次递减:


  1. 全表扫描
  2. 索引扫描
  3. 范围扫描
  4. 唯一索引查询
  5. 常数引用


更改方案后,采用先分页(即限制主表查询的条数:Limit 0,10)再查询的方法,时间缩短至3s。但是这也引入了其它问题。


三、引入其它问题


主表限制后,当根据副表的某个字段(如部门)进一步限制后,查询到的数据条目不存在,这显然和预期的不一致。这个在设计表时也有关系,如果在主表里增加了该字段就不会出现这种问题。


四、解决引入的问题


针对上述问题,根据不同的限制条件进行不同的方法的查询。出现了三种情况。如下表所示,0表示空,1表示有。

设备号 部门 查询方法
0 0 方法1(先对历史数据表分页,再左连接部门表)
1 0 方法1(先对历史数据表分页,再左连接部门表)
0 1 方法2 (先对设备表分页,再左连接历史数据表)
1 1 方法3(先查出部门拥有的设备,再左连接历史数据表)


五、MySQL的一些性能数据指标(通用服务器)


  1. 能够每秒查询10万条数据
  2. 2000 QPS


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
存储 关系型数据库 MySQL
环比、环比增长率、同比、同比增长率 ,占比,Mysql 8.0 实例(最简单的方法之一)(sample database classicmodels _No.2 )
环比、环比增长率、同比、同比增长率 ,占比,Mysql 8.0 实例(最简单的方法之一)(sample database classicmodels _No.2 )
93 1
|
12天前
|
SQL 前端开发 关系型数据库
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
44 9
|
14天前
|
缓存 监控 关系型数据库
如何优化MySQL查询速度?
如何优化MySQL查询速度?【10月更文挑战第31天】
41 3
|
19天前
|
SQL NoSQL 关系型数据库
2024Mysql And Redis基础与进阶操作系列(5)作者——LJS[含MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页等详解步骤及常见报错问题所对应的解决方法]
MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页、INSERT INTO SELECT / FROM查询结合精例等详解步骤及常见报错问题所对应的解决方法
|
17天前
|
关系型数据库 MySQL
Mysql 中日期比较大小的方法有哪些?
在 MySQL 中,可以通过多种方法比较日期的大小,包括使用比较运算符、NOW() 函数、DATEDIFF 函数和 DATE 函数。这些方法可以帮助你筛选出特定日期范围内的记录,确保日期格式一致以避免错误。
|
18天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
85 1
|
24天前
|
SQL Java 关系型数据库
java连接mysql查询数据(基础版,无框架)
【10月更文挑战第12天】该示例展示了如何使用Java通过JDBC连接MySQL数据库并查询数据。首先在项目中引入`mysql-connector-java`依赖,然后通过`JdbcUtil`类中的`main`方法实现数据库连接、执行SQL查询及结果处理,最后关闭相关资源。
|
20天前
|
SQL 关系型数据库 MySQL
定时任务频繁插入数据导致锁表问题 -> 查询mysql进程
定时任务频繁插入数据导致锁表问题 -> 查询mysql进程
39 1
|
18天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第26天】数据库作为现代应用系统的核心组件,其性能优化至关重要。本文主要探讨MySQL的索引策略与查询性能调优。通过合理创建索引(如B-Tree、复合索引)和优化查询语句(如使用EXPLAIN、优化分页查询),可以显著提升数据库的响应速度和稳定性。实践中还需定期审查慢查询日志,持续优化性能。
47 0
|
1月前
|
存储 SQL 关系型数据库
MySQL 给查询结果增列并自定义列数据
MySQL 给查询结果增列并自定义列数据
444 2