SQL性能优化:如何定位网络性能问题

简介:

一同事跟我反馈他遇到了一个SQL性能问题,他说全表只有69条记录,客户端执行耗费了两分多钟,这不科学呀。要我分析一下原因并解决。我按照类似表结构,构造了一个案例,测试截图如下所示

clipboard

 

这 个表有13800KB(也就是13M多大小),因为该表将图片保存到数据库(Item_Photo字段为iamge类型),这个是历史原因,暂且不喷这种 的设计。看来这个SQL执行时间长的性能问题不在于IO和SQL本身执行计划是否有问题,而是在网络数据传时间上(服务器与客户端位于异地,两地专线带宽 6M,不过很多应用、邮件、系统都依赖此专线)

sp_spaceused 'Item_Test'
 
name               rows     reserved        data        index_size      unused
-----------  -------------  ----------  -------------- ----------- -------------
Item_Test          69      13864 KB      13800 KB           16 KB        48 KB

为了验证我的想法,我在服务器本机测试时间为2秒,如下截图所示

clipboard[1]

从上面我们知道在客户端执行完该SQL语句,总共耗费了2分23秒。那 么客户端的到底获取了多少字节数据,数据传输耗费了多长时间呢? 能否查看这些DETAIL信息呢? 答案是可以。在SSMS工具栏,勾选“Include Client Statistics”或使用快捷键SHIFT+ALT+S,然后执行SQL语句,就能得到如下截图的相关信息。

clipboard[2]

 

clipboard[3]

Client Statistics(客户端统计信息)包含三大块:  Query Profile Statistics, Network Statistics, Time Statistics。

这些部分的内容很容易理解,无需多说,那么我们来看看吧

 

Network Statistics(网络统计信息)
 
 
Number of server roundtrips:        服务器往返的次数
 
TDS packets sent from client:       从客户端发送的TDS数据包(个数)
 
TDS packets received from server:   从服务端接收的TDS数据包(个数)
 
Bytes sent from client:             从客户端发送的字节数
 
Bytes received from server:         从服务器接收的字节数
 
 
 
Time Stattistics:(时间统计信息)
 
 
Client processing time:              客户端处理时间
 
Total execution time:                总执行时间
 
Wait time on server replies:         服务器应答等待时间

 

从 客户端发送的字节和从服务端接收的数据大小都很清晰、明了,那么数据从服务器端发送给客户端所需的时间这里没有,其实它基本上接近客户端处理时间 (Client processing time),我们也可以将客户端处理时间权当网络数据传输时间,从上面案例,我们可以看到这个时间耗费了140秒(140132 ms),可以肯定这个SQL性能慢在网络数据传输上,而不是慢在数据库那一块(Server Processing Time).

我们来看看下图,这个是SQL SERVER的请求接收和数据输出的一个大致流程图,当客户端发送请求开始,当服务器接收客户端发来的最后一个TDS包,数据库引擎开始处理请求,请求完 成后,将数据发送给客户端,从图中可以看出,客户端接收服务器端返回的数据也是需要一个过程的(或者说时间)

clipboard[4]

 

我 们在SQL优化过程中,如果一个SQL出现性能问题时,我们应该站在一个全局的角度来分析问题,从CPU资源、网络带宽、磁盘IO、执行计划等多方面来分 析,这样才能有助于你分析、定位问题根源,而不要只要SQL响应很慢时,就一味条件反射式先入为主:这是数据库问题。数据库也不能老背这个黑锅。

 

在数据库等待事件中,ASYNC_NETWORK_IO可以从另外一个侧面反映网络性能问题。关于ASYNC_NETWORK_IO等待类型:

This waittype indicates that the SPID is waiting for the client application to fetch the data before the SPID can send more results to the client application.

 

那么回到如何优化这个SQL的问题上来,我们可以从下面几个方面来进行优化。

   1: SQL只取必须的字段数据

        像这个案例,其实它根本不需要Item_Photo字段数据,那么我们可以修改SQL,只取我们需要的字段数据,就可以避免这个问题,提高SQL性能,另 外根据我的经验,开发人员习惯性使用SELECT *,从不管那些数据是需要还是不需要的,先全部取过来再说,这种习惯性行为确实不是一个好习惯。

 

   2:避免这种脑残设计

      图片应该以文件形式保存在应用服务器上,数据库只保存其路径信息,这种将图片保存到数据库的设计纯属脑残行为。

 

------------------------------------------------------------分割线-------------------------------------------------------------

看到很多网友说没有给出解决方案和结果,我就很纳闷,解决方法我明明不是已经在上文交代吗,后面陆陆续续好几个都这样说,不淡定了,看来我的表述能力还是有问题,好吧,补充如下:

因为这个案例,根本不需要用到Item_Photo这个字段(保存的图片),那么我就取所需字段就好了,如下所示

image

 

clipboard[2]

如上截图所示,Client processing time(客户端处理时间)为18毫秒,服务器端传送过来的数据只有7512字节,也就是7KB大小,对比上下两者的差距,我想数据能说明一切了,关于我 喷图片保存在数据库的这种设计,出乎我意料,很多人不认同,好吧,不多说也不偏激,自己测试、权衡吧。事实胜于雄辩!

相关文章
|
26天前
|
存储 SQL 关系型数据库
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
MySQL调优主要分为三个步骤:监控报警、排查慢SQL、MySQL调优。 排查慢SQL:开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优: 基础优化:缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表; 表设计优化:数据类型优化、冷热数据分表等。 索引优化:考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。
210 15
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
|
2月前
|
SQL 数据处理 数据库
专坑同事的SQL写法:性能杀手揭秘
【8月更文挑战第29天】在日常的数据库开发与维护工作中,编写高效、清晰的SQL语句是每位数据工程师的必修课。然而,不当的SQL编写习惯不仅能降低查询效率,还可能给同事的工作带来不必要的困扰。今天,我们就来揭秘八种常见的“专坑同事”SQL写法,助你避免成为那个无意间拖慢整个团队步伐的人。
31 1
|
2月前
|
SQL 关系型数据库 MySQL
【MySQL 慢查询秘籍】慢SQL无处遁形!实战指南:一步步教你揪出数据库性能杀手!
【8月更文挑战第24天】本文以教程形式深入探讨了MySQL慢SQL查询的分析与优化方法。首先介绍了如何配置MySQL以记录执行时间过长的SQL语句。接着,利用内置工具`mysqlslowlog`及第三方工具`pt-query-digest`对慢查询日志进行了详细分析。通过一个具体示例展示了可能导致性能瓶颈的查询,并提出了相应的优化策略,包括添加索引、缩小查询范围、使用`EXPLAIN`分析执行计划等。掌握这些技巧对于提升MySQL数据库性能具有重要意义。
77 1
|
2月前
|
Prometheus 监控 网络协议
在Linux中,如何监控网络服务的状态和性能?
在Linux中,如何监控网络服务的状态和性能?
|
2月前
|
前端开发 C# 设计模式
“深度剖析WPF开发中的设计模式应用:以MVVM为核心,手把手教你重构代码结构,实现软件工程的最佳实践与高效协作”
【8月更文挑战第31天】设计模式是在软件工程中解决常见问题的成熟方案。在WPF开发中,合理应用如MVC、MVVM及工厂模式等能显著提升代码质量和可维护性。本文通过具体案例,详细解析了这些模式的实际应用,特别是MVVM模式如何通过分离UI逻辑与业务逻辑,实现视图与模型的松耦合,从而优化代码结构并提高开发效率。通过示例代码展示了从模型定义、视图模型管理到视图展示的全过程,帮助读者更好地理解并应用这些模式。
61 0
|
2月前
|
Java XML Maven
跨越时代的飞跃:Struts 2 升级秘籍——从旧版本无缝迁移到最新版,焕发应用新生!
【8月更文挑战第31天】随着软件技术的发展,Struts 2 框架也在不断更新。本文通过具体案例指导开发者如何从旧版平滑升级到 Struts 2.6.x。首先更新 `pom.xml` 中的依赖版本,并执行 `mvn clean install`。接着检查 `struts.xml` 配置,确保符合新版本要求,调整包扫描器等设置。审查 Action 类及其注解,检查配置文件中的弃用项及插件。更新自定义拦截器实现,并验证日志配置。最后,通过一系列测试确保升级后的系统正常运行。通过这些步骤,可以顺利完成 Struts 2 的版本升级,提升应用的安全性和性能。
106 0
|
2月前
|
Java Apache Android开发
Struts 2的秘密武器:揭秘社区中隐藏的学习宝藏,让你从新手到高手的不归路!
【8月更文挑战第31天】Struts 2学习资源丰富,除官方文档外,TutorialsPoint和W3Schools等网站提供详尽教程;《Apache Struts 2实战》等书籍含全面实例。Udemy、Pluralsight及YouTube上视频课程众多,Apache Software Foundation亦有网络研讨会。实践方面,GitHub上的开源项目及个人小项目都是好选择。寻求帮助可访问Apache官方论坛、Stack Overflow等平台。
33 0
|
2月前
|
SQL 存储 数据库
|
2月前
|
SQL 数据处理 数据库
SQL正则表达式应用:文本数据处理的强大工具——深入探讨数据验证、模式搜索、字符替换等核心功能及性能优化和兼容性问题
【8月更文挑战第31天】SQL正则表达式是数据库管理和应用开发中处理文本数据的强大工具,支持数据验证、模式搜索和字符替换等功能。本文通过问答形式介绍了其基本概念、使用方法及注意事项,帮助读者掌握这一重要技能,提升文本数据处理效率。尽管功能强大,但在不同数据库系统中可能存在兼容性问题,需谨慎使用以优化性能。
36 0
|
2月前
|
SQL 数据管理 关系型数据库
SQL与云计算:利用云数据库服务实现高效数据管理——探索云端SQL应用、性能优化、安全性与成本效益,为企业数字化转型提供全方位支持
【8月更文挑战第31天】在数字化转型中,企业对高效数据管理的需求日益增长。传统本地数据库存在局限,而云数据库服务凭借自动扩展、高可用性和按需付费等优势,成为现代数据管理的新选择。本文探讨如何利用SQL和云数据库服务(如Amazon RDS、Google Cloud SQL和Azure SQL Database)实现高效的数据管理。通过示例和最佳实践,展示SQL在云端的应用、性能优化、安全性及成本效益,助力企业提升竞争力。
48 0