记一次mysql like concat查询优化

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用版 2核4GB 50GB
简介: 记一次mysql like concat查询优化

题记



接到任务客户要开发一张报表才能搞验收,时间紧任务重。
了解了需求后开始马不停蹄的开始编写查询的sql了,然后劈里啪啦的敲代码了。
终于搞完了,丢给了现场去测试。
现场反馈数据展示可以了,取数也是对的,然后让客户看一眼。
客户一打开报表只见页面再那里转圈圈,然后客户喝了几口茶,慢慢的说到太太太慢了。
现场这时就反馈了这报表需要优化下。
复制代码


需求



系统里面有科目表、预算执行表。。。例如预算上报等
科目表从名字就可以看出是存放的预算科目表,执行表放的是付款挂接的预算明细
报表的其他统计的先不说暂且先不关注,主要是执行数据的统计。
执行统计里面如果是上级科目需要汇总子科目的执行数,但执行表的数据都是明细。
复制代码


撸代码



开始的做法


直接丢个子查询进去
(SELECT SUM(fp.PROCESS_CUR_MONEY)
                       FROM fbs_budget_process fp
                      WHERE fp.status = '95'
                        AND fp.process_date >= pm.begin_date
                        AND fp.process_date <= pm.END_DATE
                        AND fp.item_code LIKE CONCAT(pm.itemCode, '%')         
) processMoney
复制代码


优化


经过一步一步拆分执行的sql,发现就是执行金额统计慢. 只用了三个字段分别是status、process_date、item_code 加索引吧(process_date、item_code)。


网络异常,图片无法展示
|


直接跑了下还是慢

来看下执行计划


网络异常,图片无法展示
|


一脸懵逼 索引只执行了日期process_date,没有科目item_code

在我得理解中科目关联我用了like abc% 应该走索引的

然后我试下,固定科目的时候索引出来了。难道动态匹配的时候索引会消失,有知道的老铁可以给我留言


网络异常,图片无法展示
|


中途试了下locate、POSITION (有效的)都没效果


如果是%jkjk 的可以用反转函数求解
复制代码


没招了,最后发现in操作居然走索引,

修改前


(SELECT SUM(fp.PROCESS_CUR_MONEY)
                       FROM fbs_budget_process fp
                      WHERE fp.status = '95'
                        AND fp.process_date >= pm.begin_date
                        AND fp.process_date <= pm.END_DATE
                        AND fp.item_code LIKE CONCAT(pm.itemCode, '%')         
           )
复制代码


修改后 试下了这下走索引了


(SELECT SUM(fp.PROCESS_CUR_MONEY)
       FROM fbs_budget_process fp
       WHERE 
       fp.item_code in (select fi.ITEM_CODE from fbs_item fi where fi.ITEM_CODE like CONCAT(pm.itemCode,'%') )
       AND fp.status = '95'
       AND fp.process_date BETWEEN pm.begin_date and pm.END_DATE)
复制代码


回顾下最后


平时在网上看 like 匹配符在右边的时候是走索引的,但这个好像只能是固定的前缀
其实 like CONCAT(pm.itemCode,'%') 动态匹配的时候是不走索引的
     like CONCAT('200','%') 固定了就走索引了
转换:
有单一的 like concat转为in 和 小表的like concat
fp.item_code in (select fi.ITEM_CODE from fbs_item fi where fi.ITEM_CODE like CONCAT(pm.itemCode,'%') )
处理用了科目表(fbs_item)数据量小,
                                在匹配出子科目的时候执行速度快点,
                                然后主表in走索引


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
8天前
|
关系型数据库 MySQL 数据库
在 MySQL 中使用 LIKE
【8月更文挑战第12天】
38 1
|
2月前
|
SQL 关系型数据库 MySQL
从理论到实践,Mysql查询优化剖析(联表查询)
从理论到实践,Mysql查询优化剖析(联表查询)
61 0
|
8天前
|
SQL 关系型数据库 MySQL
在 MySQL 中使用 Concat
【8月更文挑战第11天】
23 0
在 MySQL 中使用 Concat
|
23天前
|
SQL 关系型数据库 MySQL
Mysql 中 not in 的查询优化
Mysql 中 not in 的查询优化
31 4
|
1月前
|
关系型数据库 MySQL
mysql使用 CONCAT(字段,字段) 函数拼接
mysql使用 CONCAT(字段,字段) 函数拼接
|
2月前
|
存储 关系型数据库 MySQL
mysql optimizer_switch : 查询优化器优化策略深入解析
mysql optimizer_switch : 查询优化器优化策略深入解析
|
2月前
|
SQL 关系型数据库 MySQL
MySQL Hints:控制查询优化器的选择
MySQL Hints:控制查询优化器的选择
|
2月前
|
SQL 关系型数据库 MySQL
MySQL性能优化实战:从索引策略到查询优化
MySQL性能优化聚焦索引策略和查询优化。创建索引如`CREATE INDEX idx_user_id ON users(user_id)`可加速检索;复合索引考虑字段顺序,如`idx_name ON users(last_name, first_name)`。使用`EXPLAIN`分析查询效率,避免全表扫描和大量`OFFSET`。通过子查询优化分页,如LIMIT配合内部排序。定期审查和调整策略以提升响应速度和降低资源消耗。【6月更文挑战第22天】
249 2
|
1月前
|
关系型数据库 MySQL API
MySQL上亿数据查询优化:实践与技巧
MySQL亿级数据查询优化涉及索引设计、分区表、查询语句优化和数据库架构调整。例如,通过为常用查询列创建索引、使用EXPLAIN分析查询计划、避免全表扫描和SELECT *,以及采用垂直拆分、水平拆分和读写分离来提升性能。分区表能减少查询数据量,API接口测试可验证优化效果。
129 0
|
2月前
|
SQL 缓存 关系型数据库
MySQL慢查询优化实践问答
MySQL慢查询优化实践问答