图表分析系统调优全面性的必要

简介: 继昨天对系统进行了初步的调优后,效果还是比较显著,DB time从500%降到了100%以内,当然过程还是充满艰辛,期间也是各种工具和分析语句斟酌了再三。 今天也没有收到任何报警,所以感觉问题似乎已经彻底解决了。
继昨天对系统进行了初步的调优后,效果还是比较显著,DB time从500%降到了100%以内,当然过程还是充满艰辛,期间也是各种工具和分析语句斟酌了再三。
今天也没有收到任何报警,所以感觉问题似乎已经彻底解决了。在下午的时候查看了一下,发现在凌晨的时候有一个大的抖动,然后DB time基本持续在300%~400%左右。比预期的要高很多。

这个时候的第一感觉就是是不是调优出问题了,性能还是不够稳定啊,带着疑问查看了今天的数据归档情况,发现在这段时间内的数据归档频率还是很高的。在短短几个小时之内就会切换十多次。这个频率还是很高的。是不是因为调优导致的这种隐患呢。
带着疑问查看了近一个月以来的数据归档情况,发现还是带有一定的规律性的,按照这个规律今天是刚好碰到高峰期了。所以可以排除调优带来的隐患,而且我的改动也是针对几个具体的sql还没有做大动作。

那么调优之后系统的DB time提高了,那么逻辑读之类的指标是不是也有一定的浮动呢,答案是有,但是浮动很小,和原来相比简直可以忽略不计。可以看到右边的部分是调优之后的逻辑读变化,浮动还是很小的。

那么DB time突然提高的原因是什么呢,结果发现在数据库中有另外几个sql语句在做大批量的update,看来是一个例行维护的任务,因为涉及的表都很大,数据量都在亿级以上,都是些批量操作。
而且还有一个sql会基于db link从另外一个库去查取大量的数据,这个部分从设计上来说,确实依赖性耦合性较高,因为批量任务,不要求实时,所以可以考虑通过物化视图等来代替,通过增量刷新来得到过滤后的数据。这个部分因为改动部分较大,可能需要后期和开发商量一下改动方案。
下面的图形是通过zabbix得到的网卡的繁忙程度。可以看到在问题发生的时间段内还是有大量的数据通信。

但是经过分析还是有几条语句可以做在线调优的,还是结合sqlmonitor和sqlprofile来做,效率还是不错的。可以看到在短时间内DB time就会降下去。
这个案例对自己也是启示,这个调优还是需要做一个宏观的角度来看待,有的问题可能随着业务需求有一定的周期性,可能一周,也可能一月,需要结合详细的数据做一个全面的规划。同时也说明DB time也还是能够反映出一些潜在的问题的,如果在业务需求范围之内,DB time的提高本身就不是问题,因为DB time就算在很稳定的情况下,也不一定就没问题,DB time是一个参考,分析要全面,诊断要及时。
目录
相关文章
|
7天前
|
存储 数据可视化
R语言优化交易系统:用平行坐标图可视化系统参数优化结果
R语言优化交易系统:用平行坐标图可视化系统参数优化结果
11 0
|
SQL JSON 运维
如何使用下探分析定位多维指标异常根因
在系统运维过程中,关键指标的异常变化往往意味着服务异常、系统故障等等。因此我们往往会对一些关键指标进行自动巡检,例如异常检测和时序预测等等,及时感知指标的异常变化,了解系统的健康状况。对于复杂系统来说,感知到异常后直接在系统层面根因定位可能是十分困难的。因此我们需要一些手段缩小问题的排查范围或者直接定位问题,如使用 trace 根因分析等等。阿里云日志服务上线了下探分析功能,用于多维指标异常根因定位。我们将介绍该功能的使用场景和使用案例。
475 0
如何使用下探分析定位多维指标异常根因
|
SQL 缓存 监控
监控指标解读和JVM 分析&调优
监控指标解读和JVM 分析&调优
监控指标解读和JVM 分析&调优
|
数据采集 存储 JSON
数据预处理-系统监控-监控代码下|学习笔记
快速学习数据预处理-系统监控-监控代码下
61 0
数据预处理-系统监控-监控代码下|学习笔记
|
数据采集 JSON 缓存
数据预处理-系统监控_监控代码上|学习笔记
快速学习数据预处理-系统监控_监控代码上
79 0
|
Web App开发 搜索推荐 前端开发
网站常见的分析指标介绍| 学习笔记
快速学习网站常见的分析指标介绍
108 0
网站常见的分析指标介绍| 学习笔记
|
机器学习/深度学习 存储 人工智能
可视化机器学习实验指标和超参数的最佳工具(Neptune)
根据关键指标评估模型是了解模型质量的关键第一步。 跟踪超参数和相应的评估指标很重要,因为超参数的微小变化有时会对模型质量产生很大影响。 因此,了解哪些超参数有影响,哪些不影响评估指标可以带来有价值的见解。 这就是为什么您应该可视化这些参数对您的指标的影响,并了解您在所有 ML 实验中的模型性能如何。 为了帮助您,我收集了一份推荐工具列表,这些工具将为您完成繁琐的工作。 以下是可视化机器学习实验指标和超参数的六种工具。
|
存储 小程序 数据管理
小程序中的统计分析功能
小程序中的统计分析功能
小程序中的统计分析功能
|
监控 数据可视化
kuma可视化监控
kuma可视化监控
12814 4
|
SQL 存储 缓存
怎样提高报表呈现的性能?
报表的性能很重要,是一个总被谈及的问题,跑的慢的报表用户体验恶劣,无法忍受。解决这些慢的性能问题,也成了项目方和工程师头疼的事情。一出状况,就得安排技术好的,能力强的工程师去救火,本来利润就薄,还得不断的追加人工成本,而且工程师有时候也无能为力,并不是所有的性能问题都能靠程序员能力解决的 这个总会让人头疼的问题没办法解决吗?没有好的方法去提升性能了吗? 解决这个问题之前,我们得先理清楚问题的根源,是什么导致了报表的性能问题,找到根源,我们才能对症下药,才能治本
118 0