不再治标不治本,性能优化苦手们的良方来了!

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

作者介绍

吴虞SQL专家云团队成员,擅长解决SQL Server数据库性能、高可用、负载均衡等问题。

 

前言
 

 

性能优化是数据库运维人员和中、高级软件开发人员的必备技能,很多时候老司机和新司机的区别就在写出的东西是否优化。

 

博主接触过近千家客户的系统,这些系统都存在着各种各样的性能问题。那么如何透彻地了解我们的数据库性能问题?今天就用一个案例来说明性能优化的那点事儿。

 

PS:很多技术人员对优化有一套自己的理解,在阅读本文前请放下你自己的理解。

 

正所谓:跟着博主不迷路,博主带你上高速!

 

点开案例跟着博主的思路看看优化这些事儿 : 本文案例Demo。
http://www.zhuancloud.com/Index.html

 

 

了解系统环境
 

 

优化首先要知道数据库在一个什么样的硬件/软件环境下运行?配置是怎么样的?内存、CPU这些是否能完全被应用?数据库体量多大?

 

首先我们先看一下系统的配置:

 

软件层面,我们要知道我们的操作系统版本,SQL Server版本,以及对应版本的硬件限制(如32位系统不开AWE无法使用超过4G内存、server 2008 标准版最大支持32G内存等)

 

 

 

本例中我们可以看出,系统环境没有异常问题,SQL Server的补丁不是最新的,CPU资源不充足,可能CPU会成为系统的瓶颈。

 

全局层面看性能
 

 

全局层面看问题主要指综合服务器的各种指标表象定位系统的瓶颈或问题,在性能优化中最忌讳的就是看到一个指标马上就下手,针对一个指标的判断是盲目的,很可能使问题偏离本身的根本原因,也可能使优化根本无法解决根本问题而只是表象得到了缓解。
 

性能计数器

 

CPU:在大量时间内CPU的使用率达到100%,说明CPU已经成为瓶颈。

 


内存:内存计数器生命周期在11点时已经降到0,惰性写入器也彪高,说明内存也存在压力,而且比较严重。

 


磁盘:磁盘的平均队列很高(一般系统最佳情况队列应该低于2),并且读队列和写队列都很高。由于内存存在压力,所以现在无法判断磁盘的压力是由于内存不足引起的还是磁盘速度不能满足需要。

 

 

 

 

其他计数器:

 

可以看到系统中全表扫面的次数比较多,这表明很多查询没有应用索引。

 

 

系统在11点左右和11点24左右发生大量锁等待,并且等待时间很长(超过150s)

 

 

通过很多类计数器能综合看出系统的问题。这里不一一细说了。

 


系统等待

 

等待是另一个可以全局层面看系统的指标,系统运行的卡慢问题很大部分是因为等待而引起的,那么等待的类型也是可以很直观的反映出系统的问题。

 

几个主要等待:  

  • ASNC_NETWORK_IO:一般反应出有部分查询可能返回大量数据,请加查具体的等待语句是否需要返回如此多的数据。

  • WAITFOR :可能是配置了CDC发布订阅或程序中使用了语句waitfor delay

  • CXPACKET:CPU的调度等待。

  • LCK_M_U :更新语句之间的语句阻塞。

  • WRITELOG:说明程序中有循环的插入跟新操作而频繁的写入日志,磁盘速度不能满足写入频率而造成。

 

 

综合分析

 

综合系统等待和性能计数器,我们基本可以判定出来系统存在以下问题:

 

系统的CPU、内存、磁盘均存在较大的压力,尤其CPU负荷接近100%,系统中存在大量表扫面可能缺失比多索引。系统中有的语句可能要返回大量的不必要数据,系统锁情况严重,等待时间很长,语句执行时间也必然很长。

 

语句执行的整体情况:由于上述的问题影响,那么系统中必然存在大量的长时间语句!

 

 

解决问题
 

 

问题的定义是很重要的一步,从全局的多项指标综合分析,让所有问题无所遁形。定位问题后我们先来看一下解决这些问题的基本步骤。

 

本案例是自己模拟的一个情况,所以虽然在表象上来看资源压力很大,但实际在运行的语句不多,场景也有限,但在生产系统如果存在这样的表象,那么说明你的系统性能问题非常严重急需一次详细的优化了。

 

下面也介绍一下生产系统遇到这样的问题应该怎么优化,有哪些必要的步骤。

 

步骤一 针对系统问题对数据库进行全面的优化,提升整体效率

 

很多人优化可能直奔语句,认为语句就可以解决性能的所有问题,其实这样的观点是不全面的,系统的配置,数据库的配置,索引的规划等都是解决性能的必要步骤。

 

例如:系统中的语句都是最佳的,数据库运行还是很慢,可能就是因为你的CHECKDB配置的问题,也有可能因为你自动收缩没有关闭而导致的性能问题。

 

优化操作系统配置

 

针对服务器进行配置检查,查看是否有配置不合理或可以优化的配置项,比如是否配置了虚拟内存?服务器层面是否限制的资源使用?服务器是否高性能模式运行?

 

优化数据库层面的配置

 

针对数据库参数进行合理配置使硬件充分发挥硬件功能,优化不合理配置,降低对数据库造成冲击的可能性。比如:最大并行度?最大内存?

 

 

是否大量缺失索引

 

大量索引缺失必然导致语句性能不佳,并且消耗大量的系统资源,很可能就会造成上面服务器高压力的表象。

 


删除无用索引

 

针对数据库中无用的索引进行删除。提升更新操作的时间。

 

 

删除重复索引

 

针对数据库中重复的索引进行删除。提升更新操作的时间。

 

 

对重点语句建索引

 

针对系统中消耗大的语句或执行次数多的语句进行分析,评估语句性能问题,并建立合适的索引提,降低语句的资源消耗,升语句运行效率。

 

 

解决阻塞

 

解决语句间的阻塞,这需要分析语句的阻塞链,到底语句被什么样的操作阻塞了,为什么会阻塞?

 

很多新手经常问的问题:为什么我有的时候查很快有的时候查就很慢? 答:大多数情况就是你的语句被阻塞了。

 

 

优化TempDB

 

针对TempDB调优,减少TempDB资源争用导致的压力。本例中可以死看到有TempDB的争用等待,所以对TempDB的优化也是必要的。

 

 

优化日志碎片

 

针对日志增大,带来的日志碎片问题进行优化。

 

清除索引碎片

 

检查系统的索引维护情况,并针对碎片过大的表进行碎片清除操作。主要体现在系统中有老化的索引,索引的老化导致索引的性能不高或失效。

 

一阶段预期效果
 

一阶段的优化是对性能的整体提升,性能提升也会很明显,针对不同系统提升一般在2-3倍。

 

步骤二 处理热点问题

 

处理热点问题主要是在阶段一的基本优化后针对重点的语句进行调优,可能包含创建索引,修改写法,查询提示,计划向导等等。

 

在语句调优中请主要关注:是否有缺失索引,是否存在隐式转换,语句的执行时间、CPU、逻辑读写量、物理读写量、占用TempDB空间等信息。

 

 

例:这样一条语句经过第一阶段的优化并没有太大的提升,而且资源消耗依然很大,那么我们可以针对这条语句进行详细的二阶段优化。

 

简单的优化一下

 

 

  

只是简单的改了下语句的写法时间有7秒变成1秒,内存消耗从300+MB 变成 1MB。

 

二阶段预期效果
 

阶段二的优化属于细致的优化步骤,要针对更为具体的语句、具体的情况。经过本阶段优化可以使系统中大部分语句从写法、配置、运行指标都趋于优化值。

 

步骤三 针对业务

 

这个步骤需要配合开发人员,到底哪些功能依然慢?执行了哪些语句?是领导用的功能?还是一般可以慢的功能?如果大领导用的功能,那可能你就需要多花些心思了。这部分这里就不展开说了。

 

三阶段预期效果

 

第三阶段属于最细致的阶段,可以结合业务真正点对点的消灭系统中存在问题。

 

导图
 

 

针对性能优化奉上几个图,希望能帮助数据库从业者梳理一下优化的思路(个人思路仅供参考,不完善的地方也请见谅)。

 

CPU:

 

 

内存:

 

磁盘:

等待:

 

 

总结
 

 

在性能优化中最忌讳的就是看到一个指标马上就下手,针对一个指标的判断是盲目的,很可能使问题偏离本身的根本原因,也可能使优化根本无法解决根本问题,而只是表象得到了缓解。

 

本文只是通过一个例子简述一下优化的基本思路,希望帮助更多数据库从业者,了解性能优化。

 

性能调优是一个持续性的工作,不是一次解决了问题以后就可以高枕无忧,定期的巡检也是数据库从业者必要的工作之一,做到及早发现及早解决。

原文发布时间为:2017-01-17

本文来自云栖社区合作伙伴DBAplus

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
|
存储 缓存 算法
优化Java后台性能的五大最佳实践
在高并发环境中,Java后台系统的性能至关重要。本文探讨了五种有效的优化方法,包括JVM调优、数据库连接池配置、代码优化技巧、异步处理的使用以及缓存机制的实现。通过这些实践,开发人员可以显著提升系统的响应速度和稳定性。
|
4月前
|
缓存 Android开发 UED
安卓应用开发中的性能优化实践
【8月更文挑战第31天】在安卓的世界里,性能是王道。本文将带你深入理解如何通过代码优化和工具使用来提升你的安卓应用性能。我们将一起探索内存管理、布局优化、多线程处理等关键领域,并配以实用的代码示例,让你的应用飞一般地运行起来!
|
5月前
|
缓存 数据库 Android开发
安卓应用开发中的性能优化策略
【7月更文挑战第21天】在移动设备上,性能问题直接影响用户体验。本文将探讨在安卓应用开发过程中,开发者可以采用的多种性能优化方法。我们将从代码层面、资源管理、网络通信、UI渲染等方面入手,深入分析如何有效减少应用的内存占用和提升响应速度。此外,文章还将介绍一些实用的工具和平台,帮助开发者检测和解决性能瓶颈。
85 1
|
7月前
|
编解码 缓存 数据库
构建高效Android应用:从性能优化到用户体验
【5月更文挑战第29天】 在移动开发领域,打造一个流畅且响应迅速的Android应用对于保持用户忠诚度和市场份额至关重要。本文将深入探讨如何通过细致的性能优化措施和关注用户体验设计,来提升Android应用的整体质量。我们将透过代码层面的实践技巧、资源管理和系统机制的优化,以及用户界面和交互设计的改良,共同构建起一个既快速又吸引人的应用程序。
|
7月前
|
缓存 移动开发 Android开发
Android应用性能优化实践
【5月更文挑战第20天】 在移动开发领域,应用的性能直接关乎用户体验。特别是对于Android平台,由于设备多样性和应用生态环境的复杂性,性能优化成为了开发者必须面对的挑战。本文将深入探讨Android应用性能优化的多个方面,包括内存管理、UI渲染、多线程处理以及电池效率等,旨在为开发者提供一系列实用的优化策略和技巧。
|
7月前
|
缓存 前端开发 Android开发
构建高效Android应用:从设计原则到性能优化
随着移动设备成为我们日常生活不可或缺的一部分,开发一个流畅且响应迅速的Android应用变得至关重要。本文将探讨如何通过遵循Android设计原则和实施细致的性能优化策略来构建高效的Android应用程序。我们将深入分析应用架构的选择、内存管理的要点以及UI设计的优化,旨在为开发人员提供一套实用的指导方针,帮助他们提升应用的整体性能和用户体验。
|
存储 消息中间件 缓存
性能优化的十种手段
性能优化的十种手段
|
消息中间件 缓存 安全
相亲app开发,性能优化技术并不是突发奇想
相亲app开发,性能优化技术并不是突发奇想
|
设计模式 缓存 监控
如何搞好性能优化
想必大家都晓得,程序员想要提升,性能优化这块是最重要的一点,实现同样的功能,不同的设计思路能够极大的节省服务器开销,能够更好的提高用户体验,本篇文章我们就来一起探讨一下,性能优化优化的是哪些点。
149 0
|
设计模式 编译器 测试技术
【干货储备】C++性能优化
做C++,当然不能不关心性能。但是,什么时候开始关心性能优化?2020全球C++及系统软件技术大会中《C++性能调优纵横谈》的演讲,现场座无虚席,好评连连。下面让演讲者,Boolan首席软件咨询师吴咏炜老师为大家揭秘。
【干货储备】C++性能优化