一种解决MySQL多表查询在多个条件下缺少数据集的方法,附带解决查询慢的问题

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 一种解决MySQL多表查询在多个条件下缺少数据集的方法,附带解决查询慢的问题

一、问题分析


有两张表,一个是历史数据表,包含设备地理位置等信息;一个是部门表,每个设备对应一个部门。


网站前端的界面需要显示所有的历史数据和对应的部门,按照原来的左连接查询方法,在20万条数据前提下,结果查询时间为150s。因为在该方法下将主表的历史数据和副表进行联合查询,需要全表遍历,这种方案在数据量小的情况下可以实施,但是数据库表达到了几十万条后,就不再适用。


请记住,查询时间慢最基本原因是访问的数据太多。


二、解决方案


针对查询数据太多的问题,一般从以下两个方向入手:


  1. 应用程序检索大量超过需要的数据;
  2. MySQL服务器层分析大量超过需要的数据行;


导致上述问题的原因是第二个,网站前端只需要显示前10条、前20条、 … 、前90条。而先连接再分页导致每一行主表记录都要关联副表,最后只要前10*N条,MySQL服务器层分析大量超过需要的数据行。


而解决MySQL服务器层分析大量超过需要的数据行的问题,从以下几个指标进行衡量:


  1. 响应时间(快速上线估计值)
  2. 扫描的行数
  3. 返回的行数


得到数据集的方式有几种,和访问类型有关,访问类型依次从慢到快有以下几种,扫描的行数也是依次递减:


  1. 全表扫描
  2. 索引扫描
  3. 范围扫描
  4. 唯一索引查询
  5. 常数引用


更改方案后,采用先分页(即限制主表查询的条数:Limit 0,10)再查询的方法,时间缩短至3s。但是这也引入了其它问题。


三、引入其它问题


主表限制后,当根据副表的某个字段(如部门)进一步限制后,查询到的数据条目不存在,这显然和预期的不一致。这个在设计表时也有关系,如果在主表里增加了该字段就不会出现这种问题。


四、解决引入的问题


针对上述问题,根据不同的限制条件进行不同的方法的查询。出现了三种情况。如下表所示,0表示空,1表示有。

设备号 部门 查询方法
0 0 方法1(先对历史数据表分页,再左连接部门表)
1 0 方法1(先对历史数据表分页,再左连接部门表)
0 1 方法2 (先对设备表分页,再左连接历史数据表)
1 1 方法3(先查出部门拥有的设备,再左连接历史数据表)


五、MySQL的一些性能数据指标(通用服务器)


  1. 能够每秒查询10万条数据
  2. 2000 QPS


相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4天前
|
存储 算法 关系型数据库
MySQL怎样处理排序⭐️如何优化需要排序的查询?
MySQL怎样处理排序⭐️如何优化需要排序的查询?
|
4天前
|
SQL 关系型数据库 MySQL
MySQL数据库的约束+进阶版新增与查询-2
MySQL数据库的约束+进阶版新增与查询
12 1
|
4天前
|
关系型数据库 MySQL 测试技术
MySQL数据库的约束+进阶版新增与查询-1
MySQL数据库的约束+进阶版新增与查询
15 1
|
4天前
|
SQL 存储 关系型数据库
MySQL查询原理,看这一篇就够了!
MySQL查询原理,看这一篇就够了!
|
5天前
|
存储 关系型数据库 MySQL
Mysql大数据批量插入方法
Mysql大数据批量插入方法
21 0
|
7天前
|
SQL 关系型数据库 MySQL
MySQL 基本概念 基础用法 增删改查(特殊查询)语法 详细篇
MySQL 基本概念 基础用法 增删改查(特殊查询)语法 详细篇
|
9天前
|
缓存 关系型数据库 MySQL
为什么MySQL分页查询偏移量越大查询越慢
【5月更文挑战第1天】为什么MySQL分页查询偏移量越大查询越慢
48 4
|
12天前
|
SQL 关系型数据库 MySQL
【Mysql】在多表查询过程中如果已经起了别名,就不能通过表名限定字段
【Mysql】在多表查询过程中如果已经起了别名,就不能通过表名限定字段
|
12天前
|
SQL 数据可视化 关系型数据库
【MySQL-11】多表查询全解-【多表关系/内外自连接/子查询/多表查询案例链接】(可cv代码&案例演示)
【MySQL-11】多表查询全解-【多表关系/内外自连接/子查询/多表查询案例链接】(可cv代码&案例演示)
|
12天前
|
SQL 关系型数据库 MySQL
【MySQL】DQL-排序查询-语法&注意事项&可cv例题语句
【MySQL】DQL-排序查询-语法&注意事项&可cv例题语句