RDS for SQL server 空间问题排查汇总

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
RDSClaw,2核4GB
简介: SQL server的空间问题一直有客户在询问,今天就给大家汇总讲解下SQL server 的全部空间开销

作者:马弓手三菜

SQL server的空间问题一直有客户在询问,今天就给大家汇总讲解下SQL server 的全部空间开销。

SQL server 的空间组成

从文件类型来看,SQL server 的文件类型分数据文件(MDF,NDF),日志文件(LDF)

从数据库来看分为系统数据库和用户数据库,其中系统数据库中,最容易出现空间问题的,就是临时数据库(tempdb)

下面我们将分别来研究下空间的常见问题和解决方法。

用户数据库的数据文件

正常情况下,数据文件是随着数据库使用,正常增长的。

sp_spaceused

image.png

这里给大家解释下,这几个参数。假设我们只有一个MDF,和一个LDF。

那么MDF 的文件大小 = reserved(8142.5MB) + unallocated space (2250.37MB)

Reserved (8337992KB)= DATA(4248352KB) +INDEX_SIZE(4086384KB) + Unused(3256KB)

Database size(10393.94MB) = MDF(10392.94MB) + LDF(1MB)

image.png

但是有时候,因为频繁更改,会带来碎片(fragmentation),碎片度太高,会导致内部的空间浪费。同时,每个SQL 操作,因为碎片,可能要访问更多的页面(page),导致开销变大。

可以通过这个命令查看下当前数据库的索引碎片。

SELECT dbschemas.[name] as 'Schema', 
dbtables.[name] as 'Table', 
dbindexes.[name] as 'Index',
indexstats.avg_fragmentation_in_percent,
indexstats.page_count
FROM sys.dm_db_index_physical_stats (DB_ID(), NULL, NULL, NULL, NULL) AS indexstats
INNER JOIN sys.tables dbtables on dbtables.[object_id] = indexstats.[object_id]
INNER JOIN sys.schemas dbschemas on dbtables.[schema_id] = dbschemas.[schema_id]
INNER JOIN sys.indexes AS dbindexes ON dbindexes.[object_id] = indexstats.[object_id]
AND indexstats.index_id = dbindexes.index_id
WHERE indexstats.database_id = DB_ID()
ORDER BY indexstats.avg_fragmentation_in_percent desc

通常情况下,碎片度大于30%的索引,我们会选择rebuild index。

ALTER INDEX [idx_name] ON [dbo].[test] REBUILD

当然rebuild 之后,这些碎片空间也不会直接被OS回收,而是作为数据文件的可重用空间。

如果特别想回收这部分空间,可以尝试下这个命令,回收下文件尾部的空间。

dbcc shrinkfile(N'testdb',0,truncateonly)

用户数据库的日志文件

SQL server的redo 段和 undo 段都是记录在 T-Log的,所以很容易被撑大。

我们的SQL Server都是使用 FULL RECOVERY 级别,所以日志空间并不会自动释放。

如何查看LOG 大小

dbcc sqlperf(logspace)

image.png

可以看见testdb 这个库,有15G的日志占用,切使用率99%

Log Reuse 的最常见的两种原因:

1) Log backup

2) Active transaction

那么,如何具体查看LOG 等待 reuse的原因?

select name,log_reuse_wait_desc,* from sys.databases where name='testdb'

原因一:日志产生过快,日志备份频率过低,等待日志备份

image.png

大部分情况,这里应该是log_backup, 这时候,如果日志占用很大且利用率很高,就可以考虑调整下日志备份策略。修改的地址在 备份恢复-> 备份设置-> 编辑,我们这里可以改成30分钟一次,以提高备份频率。

image.png

等到log使用率下降后,我们可以通过这个命令来shrink 日志文件,也可以通过控制台上“收缩事务日志”按钮来收缩日志。

-- 注意,可以通过这里查询下当前数据库的日志文件名,替换下文中的test_log
-- select name,* from sys.database_files where name='dbname'

-- 此处,将尽可能的让testdb_log日志收缩到100MB
dbcc shrinkfile (N'test_log',100)

原因二:有活跃事务阻塞了日志空间释放

image.png

如果是Active transaction, 那么可以这么去查

dbcc opentran

image.png

这里就能看见阻塞者的开始时间,已经SPID。根据SPID,可以再查到这个会话最后一条SQL语句是什么。

dbcc inputbuffer(64)

image.png

把session kill之后,再查下log_reuse_wait_desc ,如果变成log_backup,就可以尝试下shrink 了

tempdb的空间问题

tempdb是一个非常特殊的db,每次实例启动的时候,都会根据tempdb的默认值大小,重建tempdb文件。所以tempdb的空间问题,都可以通过重启解决。重点在于,找到tempdb的开销来自哪里,从根源上优化。

tempdb的空间,主要分为三块:

1) user objects

2) internal objects

3) versioning objects

想要看下当前tempdb的大小,可以试下这个语句

Select 'Tempdb' as DB, getdate() as Time,

    SUM (user_object_reserved_page_count)*8 as user_objects_kb, 

    SUM (internal_object_reserved_page_count)*8 as internal_objects_kb, 

    SUM (version_store_reserved_page_count)*8  as version_store_kb,      

    SUM (unallocated_extent_page_count)*8 as freespace_kb

From sys.dm_db_file_space_usage

Where database_id = 2

这个命令可以查看到当前tempdb的空间开销

如果是user objects占用多,就要考虑下是否使用了大量的临时表,表变量等自建对象。

如果是 internal objects占用多,就要去检查自己的排序内存,hash内存是否不够

如果是versioning 占用多,就要去检查自己是否打开了versioning相关的设置,这个并发程度是否是预期内的。

如果是freespace 最大,就说明问题已经发生过了,需要定期抓取这个数据,等待问题重现来判断是上述三个中的哪一个导致的。

关于versioning可以查询下这里:

select is_read_committed_snapshot_on,snapshot_isolation_state_desc,* 
from sys.databases

image.png

以上就是本期的全部内容,如果有任何疑问,可以在下方留言。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
8月前
|
SQL Oracle 关系型数据库
MySQL的sql_mode模式说明及设置
MySQL的sql_mode模式说明及设置
1231 112
|
9月前
|
存储 SQL 关系型数据库
mysql底层原理:索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog(图解+秒懂+史上最全)
mysql底层原理:索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog(图解+秒懂+史上最全)
mysql底层原理:索引、慢查询、 sql优化、事务、隔离级别、MVCC、redolog、undolog(图解+秒懂+史上最全)
|
7月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1266 152
|
7月前
|
SQL 存储 关系型数据库
MySQL体系结构详解:一条SQL查询的旅程
本文深入解析MySQL内部架构,从SQL查询的执行流程到性能优化技巧,涵盖连接建立、查询处理、执行阶段及存储引擎工作机制,帮助开发者理解MySQL运行原理并提升数据库性能。
|
7月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
941 156
|
10月前
|
SQL 关系型数据库 MySQL
Go语言数据库编程:使用 `database/sql` 与 MySQL/PostgreSQL
Go语言通过`database/sql`标准库提供统一数据库操作接口,支持MySQL、PostgreSQL等多种数据库。本文介绍了驱动安装、连接数据库、基本增删改查操作、预处理语句、事务处理及错误管理等内容,涵盖实际开发中常用的技巧与注意事项,适合快速掌握Go语言数据库编程基础。
1286 213
|
7月前
|
SQL 监控 关系型数据库
SQL优化技巧:让MySQL查询快人一步
本文深入解析了MySQL查询优化的核心技巧,涵盖索引设计、查询重写、分页优化、批量操作、数据类型优化及性能监控等方面,帮助开发者显著提升数据库性能,解决慢查询问题,适用于高并发与大数据场景。
|
7月前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
7月前
|
SQL 监控 关系型数据库
查寻MySQL或SQL Server的连接数,并配置超时时间和最大连接量
以上步骤提供了直观、实用且易于理解且执行的指导方针来监管和优化数据库服务器配置。务必记得,在做任何重要变更前备份相关配置文件,并确保理解每个参数对系统性能可能产生影响后再做出调节。
746 11

推荐镜像

更多
下一篇
开通oss服务