SQL Server 2014里的IO资源调控器

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
简介:

在本文中,我们将来看看SQL Server 2014在资源调控器方面增加了哪些新的功能。资源调控器(Resource Governor)是从SQL Server 2008开始出现的一项功能。它是用于管理 SQL Server 工作负荷和系统资源使用情况的功能。 在SQL Server 2014之前,资源调控器只能限制某些用户访问SQL Server所占用的CPU带宽、内存资源。但是随着虚拟化和云技术的发展,IO的控制有了很大的需求。IaaS(Infrastructure as a Service),即基础设施服务提供商需要通过对IO资源池的资源设定,控制每个客户需要的资源。这可以保证性能不会受其他客户的影响,同时也可以基于用户的资源请求设定不同的SLA或者数据库服务。另一个需求是IT管理员或者数据库管理员希望可以将OLTP工作负载与维护操作进行隔离。比如重建索引是一种常见的操作,因为要扫描整个索引或者表,会导致大量的IO请求。通过使用IO资源管理可以限制这些操作的IO负载,从而保证OLTP的并发和性能不受影响。使整个服务器环境更加的稳固。

在SQL Server 2014中,根据客户的请求,增加了对IO资源的控制来解决这些问题。

资源调控器中资源池,工作负荷组,分类的概念和之前无异。

 

下面是SQL Server 2014增加的新特性

  • Resource Pools 在对CPU/Memory的控制基础上增加了对卷(per volume Disk Partition逻辑分区)的IOPs控制,可以针对卷设置最大和最小的IOPS,从而实现更复杂的资源控制。
  • 可以对单个磁盘分区设置 maximum outstanding IO (在实例级别). 使用这个特性可以更好的调整磁盘子系统的负载。
  • 在DMV sys.dm_resource_governor_resource_pools和sys.dm_resource_governor_configuration中新增了栏位可以查询IO的使用和配置。另外新增加了DMV
    sys.dm_resource_governor_resource_pool_volumes,可以捕获IO跨不同分区的使用情况。

具体请参考:

http://msdn.microsoft.com/en-us/library/bb934023.aspx

http://msdn.microsoft.com/en-us/library/bb934099.aspx

http://msdn.microsoft.com/en-us/library/dn358348.aspx

  • 新增加了两个新的XEvents (file_write_enqueued, file_read_enqueued),可以对于IO资源管理队列的IO请求。
  • 最后我们增加了性能监视指标SQLServer:Resource     Pool Stats包括Disk Read IO/sec, Disk Read Bytes/sec, Avg Disk Read IO (ms), Disk Write IO/sec, Disk Write
         Bytes/sec, Avg Disk Write IO (ms), Disk Read IO Throttled/sec, Disk Write IO Throttled/sec等。

当一个用户成功登录到SQL Server,如果IO资源调控被设置的话,数据库引擎将会调用分类函数去判断当前登录用户属于哪一个工作负荷组。当此用户执行一条SQL语句产生对IO的读写时,数据库引擎不会将此IO读写请求直接发送给OS,取而代之的是将此IO请求放到一个队列中,SQL IO资源管理会根据当前用户的设置和已有资源的使用情况从队列中取出相应的IO请求发送给OS进行执行,以实现对IO资源的管理与控制。

我们以下面为例说明如何在一个SQL Server实例中使用IO资源调控器。

假设我们有一台数据库主机或者运行在私有云上的整合数据库,我们需要根据多个客户的要求放多个数据库,这样可以实现资源的有效利用同时节省成本。如果客户的一个数据库运行IO密集型的工作负载,这样会导致整个磁盘的IO性能,从而影响其他用户的操作。

为了简化我们的演示,假设有两个用户需要访问此数据库,其中一个用户为IT管理人员,需要定期的备份数据库以保重数据安全,还有一个用户为财务人员,需要读取数据以生成报表。我们为这两个用户创建两个资源池和一个可以将用户会话映射到对应资源池的分类器函数。会话为用户backup被映射到资源池GroupBackup,会话为用户report映射到资源池GroupReport。为了使演示清晰明了,我们将资源池GroupBackup最小和最大IOPS设定为1,将资源池GroupReport最小和最大IOPS设定为2。

复制代码
 1 use master;
 2 
 3 go
 4 
 5 -- Create 3 workload groups for different category of users or application
 6 
 7 CREATE WORKLOAD GROUP
 8 GroupAdmin;
 9 
10 CREATE WORKLOAD GROUP
11 GroupBackup;
12 
13 CREATE WORKLOAD GROUP
14 GroupReports;
15 
16 -- Create classifier function
17 
18 CREATE FUNCTION dbo.rgclassifier() RETURNS sysname
19 WITH SCHEMABINDING
20 AS
21 BEGIN
22 
23     DECLARE @grp_name sysname
24 
25       IF (SUSER_NAME() = 'admin')
26 
27           SET @grp_name = 'GroupAdmin'
28 
29       IF (SUSER_NAME() = 'backup')
30 
31          SET @grp_name = 'GroupBackup'
32 
33       IF (SUSER_NAME() = 'report' )--or APP_NAME() LIKE '%REPORT
34 SERVER%')
35 
36           SET @grp_name = 'GroupReports'
37 
38     RETURN @grp_name
39 
40 END;
41 
42 GO
43 
44 -- Register the classifier function with Resource Governor
45 
46 ALTER RESOURCE GOVERNOR WITH (CLASSIFIER_FUNCTION
47 = dbo.rgclassifier);
48 GO
49 
50  -- Start Resource Governor
51 
52 ALTER RESOURCE GOVERNOR RECONFIGURE;
53 GO
54 
55 -- Create resource pools and map it to workload groups
56 
57 CREATE RESOURCE POOL
58 PoolAdmin
59 WITH (   
60 MIN_IOPS_PER_VOLUME = 100,
61 MAX_IOPS_PER_VOLUME = 100
62  );
63 
64 CREATE RESOURCE POOL PoolBackup
65 WITH (
66 MIN_IOPS_PER_VOLUME = 1,
67 MAX_IOPS_PER_VOLUME = 1
68  );
69 
70 CREATE RESOURCE POOL PoolReports
71 WITH (
72 MIN_IOPS_PER_VOLUME = 2,  
73 MAX_IOPS_PER_VOLUME = 2
74  );
75 
76 ALTER WORKLOAD GROUP
77 GroupAdmin
78 
79 USING PoolAdmin;
80 
81 ALTER WORKLOAD GROUP
82 GroupBackup
83 
84 USING PoolBackup;
85 
86 ALTER WORKLOAD GROUP
87 GroupReports
88 
89 USING PoolReports;
90 
91 ALTER RESOURCE GOVERNOR RECONFIGURE;
92 
93 GO
复制代码

通过这个配置,SQL Server将会限制IO资源池的负载,从而满足2个IOPS给用户Report,1个IOPS给用户Backup。通过设置IO资源调控器对客户设置最大的工作负载限制,一方面可以达到预测的性能,同时还会保护其他的用户性能不受影响。

限制:

IO资源调控器主要是针对物理IO(磁盘读写)的限制,对逻辑IO(内存)是不起作用的。此外,IO资源调控器也只会限制用户完成任务产生的读写IO。对于一些SQL
Server 发起的IO,是源于SQL本身的后台进程,例如:checkpoint, lazy writer。这部分的IO都在默认的INTERNAL工作负荷组中,是无法被限制的。所以IO资源调控器对IO的控制主要的两个应用场景为限制重建索引和备份带来的大量磁盘开销。



本文转自Woodytu博客园博客,原文链接:http://www.cnblogs.com/woodytu/p/4644475.html,如需转载请自行联系原作者

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
相关文章
|
4月前
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
|
6月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之使用API调用ODPS SQL时,出现资源被定时任务抢占,该怎么办
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
100 32
|
6月前
|
SQL 存储 监控
SQL Server的并行实施如何优化?
【7月更文挑战第23天】SQL Server的并行实施如何优化?
136 13
|
6月前
|
SQL
解锁 SQL Server 2022的时间序列数据功能
【7月更文挑战第14天】要解锁SQL Server 2022的时间序列数据功能,可使用`generate_series`函数生成整数序列,例如:`SELECT value FROM generate_series(1, 10)。此外,`date_bucket`函数能按指定间隔(如周)对日期时间值分组,这些工具结合窗口函数和其他时间日期函数,能高效处理和分析时间序列数据。更多信息请参考官方文档和技术资料。
|
6月前
|
SQL 存储 网络安全
关系数据库SQLserver 安装 SQL Server
【7月更文挑战第26天】
74 6
|
6月前
|
存储 SQL C++
对比 SQL Server中的VARCHAR(max) 与VARCHAR(n) 数据类型
【7月更文挑战7天】SQL Server 中的 VARCHAR(max) vs VARCHAR(n): - VARCHAR(n) 存储最多 n 个字符(1-8000),适合短文本。 - VARCHAR(max) 可存储约 21 亿个字符,适合大量文本。 - VARCHAR(n) 在处理小数据时性能更好,空间固定。 - VARCHAR(max) 对于大文本更合适,但可能影响性能。 - 选择取决于数据长度预期和业务需求。
476 1
|
6月前
|
SQL Oracle 关系型数据库
MySQL、SQL Server和Oracle数据库安装部署教程
数据库的安装部署教程因不同的数据库管理系统(DBMS)而异,以下将以MySQL、SQL Server和Oracle为例,分别概述其安装部署的基本步骤。请注意,由于软件版本和操作系统的不同,具体步骤可能会有所变化。
402 3
|
5月前
|
SQL 安全 Java
驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version TLS10 is not accepted by client
驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version TLS10 is not accepted by client
549 0
|
6月前
|
SQL 存储 安全
数据库数据恢复—SQL Server数据库出现逻辑错误的数据恢复案例
SQL Server数据库数据恢复环境: 某品牌服务器存储中有两组raid5磁盘阵列。操作系统层面跑着SQL Server数据库,SQL Server数据库存放在D盘分区中。 SQL Server数据库故障: 存放SQL Server数据库的D盘分区容量不足,管理员在E盘中生成了一个.ndf的文件并且将数据库路径指向E盘继续使用。数据库继续运行一段时间后出现故障并报错,连接失效,SqlServer数据库无法附加查询。管理员多次尝试恢复数据库数据但是没有成功。
|
6月前
|
SQL 监控 数据库
SQL Server 查询超时问题排查
【7月更文挑战第8天】排查 SQL Server 查询超时涉及五个主要方面:检查复杂查询、评估服务器性能、审视配置参数、更新统计信息和分析执行计划。关注点包括查询的结构(如连接、子查询和索引),服务器资源(CPU、内存、网络延迟),连接和内存设置,以及统计信息的时效性。通过这些步骤可定位并解决性能瓶颈。
140 0