MySQL请求使用JSON索引查询数据量不准确

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: MySQL请求使用JSON索引查询数据量不准确

背景描述


通过SQL 语句查询,使用JSON索引的情况下,查询结果不准确,远远大于预期。

如查询SQL:

SELECTcount(1)FROMwheretime='2022-8-22';

结果:3981392

实际结果应该是100W左右


知识点


Json 类型简单介绍


有一种叫做JSON (JavaScript Object Notation) 的轻量级数据交换格式能够替代XML的工作。它就是JSON。

数据格式比较简单, 易于读写, 格式都是压缩的, 占用带宽小,易于解析这种语言。

示例:

json = {"name1":"test", "list":["a", "d", "c"]}


列表数据类型


“列表”是一个值,它包含多个字构成的序列。 “列表值”指的是列表本身,而不是指列表中的值。 列表中的值称为表项,表项用逗号隔开。

示例:

list= ["a", "b", "c"]


组合索引数据结构

  1. 如图所示,下面是两条记录。
  2. 若通过全表扫描,将返回2条记录。
  3. 若通过日期字段与JSON 字段,组合索引进行扫描,这时日期字段将与json 列表中每一个元素一一匹配,所以将返回6条记录。


复现业务场景

  1. 创建表
  2. 插入准备数据
  3. 通过全表扫描,得到真实的表中记录条目
  4. 通过json 类型的组合索引扫描,得到json 列表元素组合的条目。
  5. 通过page 的数据结构( information_schema.INNODB_BUFFER_PAGE),确定页中记录的条目数量。

1. 创建表

CREATETABLE `t1` (  `MoveTime` datetimeNOTNULL,  `NodeTree` json DEFAULT NULL,  `SaleCount` bigintNOTNULL DEFAULT '0',  KEY `Idx_MoveTime_SalueCount_Tree1` (`MoveTime`,(cast(json_extract(`NodeTree`,_utf8mb4'$.node')aschar(32) array)),`SaleCount`) USING BTREE
) ENGINE=InnoDB;

2. 准备数据

INSERTINTO t1(`MoveTime`, `NodeTree`, `SaleCount`)VALUES('2022-08-22 00:00:00','{"node": ["393459011", "industrial", "12900351", "12899801", "office-products", "1069242"]}','549');INSERTINTO t1(`MoveTime`, `NodeTree`, `SaleCount` )VALUES('2022-08-22 00:00:00','{"node": ["166099011", "166092011", "toys-and-games"]}','11978');INSERTINTO t1(`MoveTime`, `NodeTree`, `SaleCount`)VALUES('2022-08-22 00:00:00','{"node": ["1069462", "1069454", "1069242", "office-products", "490790011", "12899801"]}','2972');

3. 验证


  1. 通过全表扫描验证
selectcount(1)from t1 where MoveTime ='2022-08-22';explain selectcount(1)from t1 where MoveTime ='2022-08-22';

通过结果,可以看到通过全表扫描查看到的结果是按照表中的记录数进行统计。


  1. 通过带有 json 数据类型索引进行验证
selectcount(1)from t1 force index(Idx_MoveTime_SalueCount_Tree1)where MoveTime ='2022-08-22';explain selectcount(1)from t1 force index(Idx_MoveTime_SalueCount_Tree1)where MoveTime ='2022-08-22';



4. 查看数据页 page 中的记录条目数量

select table_name,index_name,number_records,data_size from information_schema.INNODB_BUFFER_PAGEwhere table_name like'`db01`.`t1`';



5. 结论

当json 数据为列表时,使用联合索引会,其它字段与列表匹配,会产生一对多的关系。从而最终统计数量就会按符合列表的数量统计。通过查看 information_schema.INNODB_BUFFER_PAGE ,对应的索引的记录数,可以确定,低层数据结构就是这么设计的。



解决方案

  1. 建议合理使用 json 索引。
  2. 可以针对不同的统计信息,指定不同的索引,进行统计。



适用版本

适用MySQL 5.7以上版本

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4天前
|
Java 关系型数据库 MySQL
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
77 43
|
1月前
|
SQL 存储 关系型数据库
MySQL秘籍之索引与查询优化实战指南
最左前缀原则。不冗余原则。最大选择性原则。所谓前缀索引,说白了就是对文本的前几个字符建立索引(具体是几个字符在建立索引时去指定),比如以产品名称的前 10 位来建索引,这样建立起来的索引更小,查询效率更快!
105 22
 MySQL秘籍之索引与查询优化实战指南
|
16天前
|
存储 关系型数据库 MySQL
MySQL索引学习笔记
本文深入探讨了MySQL数据库中慢查询分析的关键概念和技术手段。
|
19天前
|
存储 关系型数据库 MySQL
浅入浅出——MySQL索引
本文介绍了数据库索引的概念和各种索引结构,如哈希表、B+树、InnoDB引擎的索引运作原理等。还分享了覆盖索引、联合索引、最左前缀原则等优化技巧,以及如何避免索引误用,提高数据库性能。
|
2月前
|
SQL 关系型数据库 MySQL
【MySQL基础篇】多表查询(隐式/显式内连接、左/右外连接、自连接查询、联合查询、标量/列/行/表子查询)
本文详细介绍了MySQL中的多表查询,包括多表关系、隐式/显式内连接、左/右外连接、自连接查询、联合查询、标量/列/行/表子查询及其实现方式,一文全面读懂多表联查!
【MySQL基础篇】多表查询(隐式/显式内连接、左/右外连接、自连接查询、联合查询、标量/列/行/表子查询)
|
1月前
|
存储 关系型数据库 MySQL
MySQL中为什么要使用索引合并(Index Merge)?
通过这些内容的详细介绍和实际案例分析,希望能帮助您深入理解索引合并及其在MySQL中的
112 10
|
20天前
|
缓存 关系型数据库 MySQL
【深入了解MySQL】优化查询性能与数据库设计的深度总结
本文详细介绍了MySQL查询优化和数据库设计技巧,涵盖基础优化、高级技巧及性能监控。
157 0
|
2月前
|
存储 Oracle 关系型数据库
索引在手,查询无忧:MySQL索引简介
MySQL 是一款广泛使用的关系型数据库管理系统,在2024年5月的DB-Engines排名中得分1084,仅次于Oracle。本文介绍MySQL索引的工作原理和类型,包括B+Tree、Hash、Full-text索引,以及主键、唯一、普通索引等,帮助开发者优化查询性能。索引类似于图书馆的分类系统,能快速定位数据行,极大提高检索效率。
69 8
|
2月前
|
存储 关系型数据库 MySQL
【MYSQL】 ——索引(B树B+树)、设计栈
索引的特点,使用场景,操作,底层结构,B树B+树,MYSQL设计栈
|
27天前
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。

热门文章

最新文章