一种解决MySQL多表查询在多个条件下缺少数据集的方法,附带解决查询慢的问题

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 一种解决MySQL多表查询在多个条件下缺少数据集的方法,附带解决查询慢的问题

一、问题分析


有两张表,一个是历史数据表,包含设备地理位置等信息;一个是部门表,每个设备对应一个部门。


网站前端的界面需要显示所有的历史数据和对应的部门,按照原来的左连接查询方法,在20万条数据前提下,结果查询时间为150s。因为在该方法下将主表的历史数据和副表进行联合查询,需要全表遍历,这种方案在数据量小的情况下可以实施,但是数据库表达到了几十万条后,就不再适用。


请记住,查询时间慢最基本原因是访问的数据太多。


二、解决方案


针对查询数据太多的问题,一般从以下两个方向入手:


  1. 应用程序检索大量超过需要的数据;
  2. MySQL服务器层分析大量超过需要的数据行;


导致上述问题的原因是第二个,网站前端只需要显示前10条、前20条、 … 、前90条。而先连接再分页导致每一行主表记录都要关联副表,最后只要前10*N条,MySQL服务器层分析大量超过需要的数据行。


而解决MySQL服务器层分析大量超过需要的数据行的问题,从以下几个指标进行衡量:


  1. 响应时间(快速上线估计值)
  2. 扫描的行数
  3. 返回的行数


得到数据集的方式有几种,和访问类型有关,访问类型依次从慢到快有以下几种,扫描的行数也是依次递减:


  1. 全表扫描
  2. 索引扫描
  3. 范围扫描
  4. 唯一索引查询
  5. 常数引用


更改方案后,采用先分页(即限制主表查询的条数:Limit 0,10)再查询的方法,时间缩短至3s。但是这也引入了其它问题。


三、引入其它问题


主表限制后,当根据副表的某个字段(如部门)进一步限制后,查询到的数据条目不存在,这显然和预期的不一致。这个在设计表时也有关系,如果在主表里增加了该字段就不会出现这种问题。


四、解决引入的问题


针对上述问题,根据不同的限制条件进行不同的方法的查询。出现了三种情况。如下表所示,0表示空,1表示有。

设备号 部门 查询方法
0 0 方法1(先对历史数据表分页,再左连接部门表)
1 0 方法1(先对历史数据表分页,再左连接部门表)
0 1 方法2 (先对设备表分页,再左连接历史数据表)
1 1 方法3(先查出部门拥有的设备,再左连接历史数据表)


五、MySQL的一些性能数据指标(通用服务器)


  1. 能够每秒查询10万条数据
  2. 2000 QPS


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
缓存 关系型数据库 MySQL
MySQL索引策略与查询性能调优实战
在实际应用中,需要根据具体的业务需求和查询模式,综合运用索引策略和查询性能调优方法,不断地测试和优化,以提高MySQL数据库的查询性能。
175 66
|
1天前
|
SQL 存储 关系型数据库
MySQL/SqlServer跨服务器增删改查(CRUD)的一种方法
通过上述方法,MySQL和SQL Server均能够实现跨服务器的增删改查操作。MySQL通过联邦存储引擎提供了直接的跨服务器表访问,而SQL Server通过链接服务器和分布式查询实现了灵活的跨服务器数据操作。这些技术为分布式数据库管理提供了强大的支持,能够满足复杂的数据操作需求。
24 12
|
4天前
|
存储 缓存 关系型数据库
MySQL的count()方法慢
MySQL的 `COUNT()`方法在处理大数据量时可能会变慢,主要原因包括数据量大、缺乏合适的索引、InnoDB引擎的设计以及复杂的查询条件。通过创建合适的索引、使用覆盖索引、缓存机制、分区表和预计算等优化方案,可以显著提高 `COUNT()`方法的执行效率,确保数据库查询性能的提升。
67 12
|
6天前
|
存储 Oracle 关系型数据库
索引在手,查询无忧:MySQL索引简介
MySQL 是一款广泛使用的关系型数据库管理系统,在2024年5月的DB-Engines排名中得分1084,仅次于Oracle。本文介绍MySQL索引的工作原理和类型,包括B+Tree、Hash、Full-text索引,以及主键、唯一、普通索引等,帮助开发者优化查询性能。索引类似于图书馆的分类系统,能快速定位数据行,极大提高检索效率。
32 8
|
9天前
|
SQL 关系型数据库 MySQL
MySQL 窗口函数详解:分析性查询的强大工具
MySQL 窗口函数从 8.0 版本开始支持,提供了一种灵活的方式处理 SQL 查询中的数据。无需分组即可对行集进行分析,常用于计算排名、累计和、移动平均值等。基本语法包括 `function_name([arguments]) OVER ([PARTITION BY columns] [ORDER BY columns] [frame_clause])`,常见函数有 `ROW_NUMBER()`, `RANK()`, `DENSE_RANK()`, `SUM()`, `AVG()` 等。窗口框架定义了计算聚合值时应包含的行。适用于复杂数据操作和分析报告。
50 11
|
12天前
|
存储 关系型数据库 MySQL
mysql怎么查询longblob类型数据的大小
通过本文的介绍,希望您能深入理解如何查询MySQL中 `LONG BLOB`类型数据的大小,并结合优化技术提升查询性能,以满足实际业务需求。
45 6
|
1月前
|
SQL 前端开发 关系型数据库
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
65 9
|
1月前
|
缓存 监控 关系型数据库
如何优化MySQL查询速度?
如何优化MySQL查询速度?【10月更文挑战第31天】
104 3
|
1月前
|
SQL NoSQL 关系型数据库
2024Mysql And Redis基础与进阶操作系列(5)作者——LJS[含MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页等详解步骤及常见报错问题所对应的解决方法]
MySQL DQL基本查询:select;简单、排序、分组、聚合、分组、分页、INSERT INTO SELECT / FROM查询结合精例等详解步骤及常见报错问题所对应的解决方法
|
1月前
|
关系型数据库 MySQL
Mysql 中日期比较大小的方法有哪些?
在 MySQL 中,可以通过多种方法比较日期的大小,包括使用比较运算符、NOW() 函数、DATEDIFF 函数和 DATE 函数。这些方法可以帮助你筛选出特定日期范围内的记录,确保日期格式一致以避免错误。