记一次mysql like concat查询优化

简介: 记一次mysql like concat查询优化

题记



接到任务客户要开发一张报表才能搞验收,时间紧任务重。
了解了需求后开始马不停蹄的开始编写查询的sql了,然后劈里啪啦的敲代码了。
终于搞完了,丢给了现场去测试。
现场反馈数据展示可以了,取数也是对的,然后让客户看一眼。
客户一打开报表只见页面再那里转圈圈,然后客户喝了几口茶,慢慢的说到太太太慢了。
现场这时就反馈了这报表需要优化下。
复制代码


需求



系统里面有科目表、预算执行表。。。例如预算上报等
科目表从名字就可以看出是存放的预算科目表,执行表放的是付款挂接的预算明细
报表的其他统计的先不说暂且先不关注,主要是执行数据的统计。
执行统计里面如果是上级科目需要汇总子科目的执行数,但执行表的数据都是明细。
复制代码


撸代码



开始的做法


直接丢个子查询进去
(SELECT SUM(fp.PROCESS_CUR_MONEY)
                       FROM fbs_budget_process fp
                      WHERE fp.status = '95'
                        AND fp.process_date >= pm.begin_date
                        AND fp.process_date <= pm.END_DATE
                        AND fp.item_code LIKE CONCAT(pm.itemCode, '%')         
) processMoney
复制代码


优化


经过一步一步拆分执行的sql,发现就是执行金额统计慢. 只用了三个字段分别是status、process_date、item_code 加索引吧(process_date、item_code)。


网络异常,图片无法展示
|


直接跑了下还是慢

来看下执行计划


网络异常,图片无法展示
|


一脸懵逼 索引只执行了日期process_date,没有科目item_code

在我得理解中科目关联我用了like abc% 应该走索引的

然后我试下,固定科目的时候索引出来了。难道动态匹配的时候索引会消失,有知道的老铁可以给我留言


网络异常,图片无法展示
|


中途试了下locate、POSITION (有效的)都没效果


如果是%jkjk 的可以用反转函数求解
复制代码


没招了,最后发现in操作居然走索引,

修改前


(SELECT SUM(fp.PROCESS_CUR_MONEY)
                       FROM fbs_budget_process fp
                      WHERE fp.status = '95'
                        AND fp.process_date >= pm.begin_date
                        AND fp.process_date <= pm.END_DATE
                        AND fp.item_code LIKE CONCAT(pm.itemCode, '%')         
           )
复制代码


修改后 试下了这下走索引了


(SELECT SUM(fp.PROCESS_CUR_MONEY)
       FROM fbs_budget_process fp
       WHERE 
       fp.item_code in (select fi.ITEM_CODE from fbs_item fi where fi.ITEM_CODE like CONCAT(pm.itemCode,'%') )
       AND fp.status = '95'
       AND fp.process_date BETWEEN pm.begin_date and pm.END_DATE)
复制代码


回顾下最后


平时在网上看 like 匹配符在右边的时候是走索引的,但这个好像只能是固定的前缀
其实 like CONCAT(pm.itemCode,'%') 动态匹配的时候是不走索引的
     like CONCAT('200','%') 固定了就走索引了
转换:
有单一的 like concat转为in 和 小表的like concat
fp.item_code in (select fi.ITEM_CODE from fbs_item fi where fi.ITEM_CODE like CONCAT(pm.itemCode,'%') )
处理用了科目表(fbs_item)数据量小,
                                在匹配出子科目的时候执行速度快点,
                                然后主表in走索引


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
缓存 关系型数据库 MySQL
MySQL慢查询优化策略
MySQL慢查询优化是一个复杂的过程,需要根据具体的应用场景和数据特点进行。以上策略是提升数据库查询性能的有效途径,但最关键的是对系统进行持续的监控和分析,及时发现并解决性能瓶颈。通过实践这些策略,你可以显著提高MySQL数据库的性能,为用户提供更快的响应时间和更好的体验。
608 10
|
SQL 关系型数据库 MySQL
大厂面试官:聊下 MySQL 慢查询优化、索引优化?
MySQL慢查询优化、索引优化,是必知必备,大厂面试高频,本文深入详解,建议收藏。关注【mikechen的互联网架构】,10年+BAT架构经验分享。
大厂面试官:聊下 MySQL 慢查询优化、索引优化?
|
缓存 关系型数据库 MySQL
MySQL执行计划选择策略:揭秘查询优化的艺术
【10月更文挑战第15天】 在数据库性能优化中,选择最优的执行计划是提升查询效率的关键。MySQL作为一个强大的关系型数据库管理系统,提供了复杂的查询优化器来生成执行计划。本文将深入探讨如何选择合适的执行计划,以及为什么某些计划更优。
510 2
|
SQL 存储 关系型数据库
MySQL秘籍之索引与查询优化实战指南
最左前缀原则。不冗余原则。最大选择性原则。所谓前缀索引,说白了就是对文本的前几个字符建立索引(具体是几个字符在建立索引时去指定),比如以产品名称的前 10 位来建索引,这样建立起来的索引更小,查询效率更快!
605 22
 MySQL秘籍之索引与查询优化实战指南
|
缓存 JSON 关系型数据库
MySQL 查询优化分析 - 常用分析方法
本文介绍了MySQL查询优化分析的常用方法EXPLAIN、Optimizer Trace、Profiling和常用监控指标。
|
SQL 关系型数据库 MySQL
MySQL慢查询优化、索引优化、以及表等优化详解
本文详细介绍了MySQL优化方案,包括索引优化、SQL慢查询优化和数据库表优化,帮助提升数据库性能。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
MySQL慢查询优化、索引优化、以及表等优化详解
|
搜索推荐 关系型数据库 MySQL
mysql like查询优化
通过合理的索引设计、使用全文索引、优化查询结构以及考虑分片和分区表,可以显著提高MySQL中 `LIKE`查询的性能。针对不同的应用场景选择合适的优化策略,能够有效地提升数据库查询效率,减少查询时间。希望这些方法和技巧能帮助您优化MySQL数据库中的模糊查询。
1750 4
|
缓存 关系型数据库 MySQL
MySQL慢查询优化
通过上述方法综合施策,可以显著提升MySQL数据库的查询性能,降低延迟,增强应用系统的整体响应能力。实践中,优化工作是一个持续迭代的过程,需要结合具体应用场景不断调整策略。
1215 2
|
存储 缓存 关系型数据库
MySQL 查询优化方法
在数据库应用中,高效的查询性能至关重要。本文探讨了常用的 MySQL 查询优化方法,包括索引优化(选择合适的索引字段、复合索引、定期维护索引)、查询语句优化(避免全表扫描、限制返回行数、避免使用不必要的函数)、表结构优化(选择合适的数据类型、分区表、定期清理无用数据)及数据库配置优化(调整缓存大小、优化存储引擎参数)。通过这些方法,可以显著提高 MySQL 的查询性能,为应用程序提供更好的用户体验。
1238 4
|
搜索推荐 关系型数据库 MySQL
MySQL 模糊查询新纪元:超越 LIKE+% 的高效探索
在数据库的日常操作中,模糊查询是一项不可或缺的功能,它允许我们根据不完全匹配的关键字来检索数据。传统上,MySQL 使用 LIKE 关键字配合 % 通配符来实现这一功能,虽然灵活但性能上往往不尽如人意,尤其是在处理大型数据集时。今天,我们将一起探索几种超越 LIKE+% 的模糊查询技术,以提升查询效率与用户体验。
1003 2

推荐镜像

更多