merge语句导致的性能问题紧急优化

简介: 晚上正在休息的时候,突然收到一封报警邮件。 报警内容: CPU utilization is too high ------------------------------------ 报警级别: PROBLEM ------------------------------------ 监控项目: CPU idle time:59.11 % ------------------------------------ 这个报警信息已经非常明确,CPU使用率很紧张了。
晚上正在休息的时候,突然收到一封报警邮件。
报警内容: CPU utilization is too high
------------------------------------
报警级别: PROBLEM
------------------------------------
监控项目: CPU idle time:59.11 %
------------------------------------
这个报警信息已经非常明确,CPU使用率很紧张了。这台服务器上运行着Oracle和MySQL实例,所以第一感觉是不是MySQL的慢查询导致的,结果登录到服务器端,发现MySQL的连接数很少,没有发现慢查询,那么问题很可能就和Oracle有关系了,使用top查看,果然几个top的进程都是带有LOCAL=NO的字样,很可能是应用端触发的SQL导致。
查看v$session的信息,发现其中一个会话已经执行一条SQL超过了40分钟。这个SQL是merge语句,看来merge又摊上事了。

语句的内容如下:

我们来看看语句的执行计划情况,如下:

可以明显看到一个全表扫描,这个表中的数据大概是700多万,就算全表扫描也应该几分钟就出结果了。怎么执行了40分钟了还没有任何反应。
我们来看看执行的瓶颈在哪里。还是使用SQL Monitor来定位,一目了然。

可以明显看出瓶颈在全表扫描的部分。

表中的数据有700多万,而经过排查发现竟然没有任何索引。所以问题的原因就更加明显了。
我们需要再总结一下,问题的原因定位到了,执行计划的效率极低。怎么改进。
1.创建索引,这就无形带来几个问题,基于哪些列来创建索引
2.这个表中目前存在频繁的DML操作,如何创建索引
3.为什么执行计划的消耗如此之大
我们来一个一个看问题,首先是创建索引,这个看起来目标明确,但是具体来做,就需要一些技巧了, 对于这类的问题,个人比较偏好dbms_sqltune.report_tuning_task,因为调用方便,简单而且能很快出结果。不到1分钟分析结果就出来了,提出了3点建议,一个就是收集统计信息,一个是修改SQL Profile,还有一个就是创建索引,我们的目标明确,就是索引的改进,建议里面会根据数据的选择度来进行评估和分析,还是比较全面的。

但是创建索引的过程中,这个DDL肯定会排斥其他的DML,很容易出现这样的错误。

这种情况下,新特性ddl_lock_timeout就值得推荐了,我们可以设定一个略微长一些的超时时间,让它在后台自己去试,很快就能得到结果。

回头一看前两个问题已经解释了,那么第3个问题,为什么执行计划的差别如此之大,就算全表也不至于那么慢啊。
语句的谓词部分会做出解释:

可以看到走了filter过滤,using部分和表中的数据映射存在重大的偏差,内部的映射竟然是一大堆的case when的形式。
当然这个语句优化之后,性能提升也很明显。精确到分钟级,效果提升还是不错的。


目录
相关文章
|
运维 大数据 Shell
时间命令date,你真的会用了吗?
时间命令date,你真的会用了吗?
263 0
|
C++ Python
VS Code按住ctrl不能跳转到定义/函数(Python)
VS Code按住ctrl不能跳转到定义/函数(Python)
3830 0
VS Code按住ctrl不能跳转到定义/函数(Python)
|
7月前
|
存储 网络协议 网络安全
Hyper-V Win10虚拟机配置常见问题
在配置Hyper-V Win10虚拟机时,用户常面临网络连接、虚拟交换机配置、资源分配及其他问题。例如,虚拟机无法获取IP地址可能源于DHCP服务异常,需检查并启动该服务;外部虚拟交换机配置错误则需确保物理网络适配器正确连接。此外,内存不足或虚拟硬盘性能瓶颈也会影响运行效果。通过合理调整资源配置、优化设置及遵循最佳实践,可有效解决这些问题。
|
9月前
|
小程序 JavaScript 数据挖掘
ClkLog常见问题-指标定义与统计逻辑Sec.1
用户行为分析指标项是衡量产品和运营管理的关键因素,它们可以帮助企业深入了解用户需求、行为模式、产品表现等多个方面。 比如页面停留时间、平均停留时长可以分析用户的需求和兴趣;跳出率、留存率可以查询用户的体验情况;事件触发次数、转化率等可以评估业务流程是否顺畅或者营销策略是否成功。 这篇我们将完整介绍ClkLog的中使用到的指标项定义以及一些重点指标的统计逻辑,便于运营人员理解后做数据分析,同时如果大家在使用过程中发现了指标项为空或异常的情况,可以对照说明排查问题。
ClkLog常见问题-指标定义与统计逻辑Sec.1
|
5月前
|
人工智能 开发框架 前端开发
斩获3K+ star,再见传统开发!这款开源AI后台开发框架让效率提升300%
ruoyi-ai 是基于 ruoyi-plus 框架开发的开源 AI 平台,集成 ChatGPT4、DALL·E-3 和 MidJourney 等前沿模型,提供聊天、绘画、语音克隆等全栈式 AI 能力。其核心价值在于多模态交互与企业级部署支持,开发者可快速搭建智能应用,个人用户亦能轻松体验 AI 创作魅力。项目支持自定义知识库训练、AI 绘画生成、语音克隆、弹幕互动等功能,采用 Java17+SpringBoot3.X 技术栈,前后端分离设计,具备高效性能与扩展性。相比同类项目,ruoyi-ai 提供更丰富的功能组合和企业级管理能力,适用于多种场景需求。
646 3
|
11月前
|
人工智能 测试技术 计算机视觉
LongLLaVA:香港中文大学推出的多模态上下文混合架构大语言模型
LongLLaVA是由香港中文大学推出的多模态大型语言模型,采用混合架构,结合Mamba和Transformer模块,旨在高效处理大量图像数据。该模型能够在单个A100 80GB GPU上处理多达1000张图像,通过2D池化技术压缩图像token,显著降低计算成本,同时保留关键的空间关系信息。LongLLaVA在视频理解、高分辨率图像分析和多模态代理等应用场景中展现出卓越的性能。
200 5
LongLLaVA:香港中文大学推出的多模态上下文混合架构大语言模型
经验大分享:OpenFOAM中的边界条件(一)
经验大分享:OpenFOAM中的边界条件(一)
496 0
经验大分享:OpenFOAM中的边界条件(一)
|
SQL 存储 关系型数据库
MySQL怎样优化千万级数据
MySQL在处理千万级数据时可能存在性能挑战。本文介绍了几个优化策略来改善查询效率
547 2
|
人工智能 IDE Java
IntelliJ IDEA 2023.2正式发布,引入AI助手和GitLab集成,升级你的开发体验!( IDEA 2023.2彻底弃用Struts2,不支持Win7)
IntelliJ IDEA 2023.2正式发布,引入AI助手和GitLab集成,升级你的开发体验!( IDEA 2023.2彻底弃用Struts2,不支持Win7)
531 0
|
存储 算法 网络协议
分布式文件系统介绍与minio介绍与使用(附minio java client 使用)(二)
分布式文件系统介绍与minio介绍与使用(附minio java client 使用)
873 0

热门文章

最新文章