SQL Server 2014使用资源调控器对IOPS控制

本文涉及的产品
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
云数据库 RDS SQL Server,基础系列 2核4GB
简介:

SQLServer2008引入了ResourceGovernor,通过对一些语句的CPU和内存的资源限制瞻性的对多租户的数据库环境进行有效管理。这个特性允许客户实现数据库的整合或者把数据库配置为服务管理。但是随着虚拟化和云技术的发展,IO的控制成为一个难题。在SQLServer2014中,我们根据客户的请求,增加了对IO资源的控制来解决客户遇到的问题。

新特性:

  • ResourcePools在对CPU/Memory的控制基础上增加了对卷(pervolumeDiskPartition逻辑分区)的IOPs控制,可以针对卷设置最大和最小的IOPS,从而实现更复杂的资源控制。

  • 可以对单个磁盘分区设置maximumoutstandingIO(在实例级别).使用这个特性可以更好的调整磁盘子系统的负载。

  • 澄清一下byvolume指的是diskvolume被windows文件系统识别的APIs.

  • 我们在DMVsys.dm_resource_governor_resource_poolssys.dm_resource_governor_configuration中新增了栏位可以查询IO的使用和配置.另外我们新增加了DMVsys.dm_resource_governor_resource_pool_volumes,可以捕获IO跨不同分区的使用情况。

  • 新增加了两个新的XEvents(file_write_enqueued,file_read_enqueued),可以对于IO资源管理队列的IO请求。

  • 最后我们增加了性能监视指标SQLServer:ResourcePoolStats包括DiskReadIO/sec,DiskReadBytes/sec,AvgDiskReadIO(ms),DiskWriteIO/sec,DiskWriteBytes/sec,AvgDiskWriteIO(ms),DiskReadIOThrottled/sec,DiskWriteIOThrottled/sec等。

如何使用:

让我们以下面的场景为例说明如何使用IO资源治理在一个SQL服务器实例上控制资源。

假设我们有一台数据库主机或者运行在私有云上的整合数据库,我们需要根据多个客户的要求放多个数据库,这样可以实现资源的有效利用同时节省成本。如果客户的一个数据库运行IO密集型的工作负载,这样会导致整个磁盘的IO性能,从而影响其他用户的操作。

第一个我们会为每个客户/数据库创建一个资源池和一个可以将客户会话映射到对应资源池的分类器函数。例如,会话为客户1可以被映射到资源池1,会话为客户2到资源池2

如果你想使用IO资源治理,重要的是对每一个资源池设定最小或大IOPS,以便IO请求定向到治理子系统。在下面的例子中,我们对每个资源池都设置MAX_IOPS_PER_VOLUME:

--Create2resourcepools&2workloadgroups.
CREATERESOURCEPOOLCustomer1Pool;
CREATERESOURCEPOOLCustomer2Pool;
GO

CREATEWORKLOADGROUPCustomer1GroupUSINGCustomer1Pool;
CREATEWORKLOADGROUPCustomer2GroupUSINGCustomer2Pool;
GO

--Createclassifierfunction
CREATEFUNCTIONfnUserClassifier()
RETURNSSYSNAME
WITHSCHEMABINDING
AS
BEGIN
IFORIGINAL_DB_NAME()='Customer1DB'
BEGIN
RETURN'Customer1Group'
END

IFORIGINAL_DB_NAME()='Customer2DB'
BEGIN
RETURN'Customer2Group'
END

RETURN'default'
END;
GO

--SettheclassifierfunctionandenableRG.
ALTERRESOURCEGOVERNORWITH(CLASSIFIER_FUNCTION=dbo.fnUserClassifier);
ALTERRESOURCEGOVERNORRECONFIGURE;
GO

--SetdefaultvaluesfortheresourcepoolssothatIORGisenabled.
ALTERRESOURCEPOOLCustomer1PoolWITH(MIN_IOPS_PER_VOLUME=0,MAX_IOPS_PER_VOLUME=2147483647);
ALTERRESOURCEPOOLCustomer2PoolWITH(MIN_IOPS_PER_VOLUME=0,MAX_IOPS_PER_VOLUME=2147483647);
ALTERRESOURCEGOVERNORRECONFIGURE;
GO

将每个工作负载分类到不同的资源池有助于我们根据每个用户的使用情况配置资源限制,同时可以监控用户的工作复杂。下面的图(性能监视器)表明由于客户1的大量IO请求导致了客户2的性能下降:

SouthEast

为了保护客户2的性能不受其他客户的影响,我们对客户2的资源池设置MIN_IOPS_PER_VOLUME从上面的图表,看起来,系统可以处理大约1300IOPS,所以我们决定保留650IOPS给客户2:

ALTERRESOURCEPOOLCustomer2PoolWITH(MIN_IOPS_PER_VOLUME=650);
ALTERRESOURCEGOVERNORRECONFIGURE;

GO

通过这个配置,SQLServer将会限制其他资源池的负载,从而满足650IOPS给客户2.下面的图中,我们可以看到系统的IOPS被公平的分配到客户,客户2的性能没有受其他客户的影响。

SouthEast

MIN_IOPS_PER_VOLUMEsetting虽然可以让资源池保留资源,但是不会限制最大的IOPS.这就意味着性能仍然会根据其他客户的使用情况变化,无法获得稳定性能。为了避免这个问题,保证可预测的性能,我们需要对每个客户设置MAX_IOPS_PER_VOLUME。这将对客户设置最大的工作负载限制,一方面可以达到预测的性能,同时还会保护其他的客户性能不受影响:

ALTERRESOURCEPOOLCustomer2PoolWITH(MAX_IOPS_PER_VOLUME=750)
ALTERRESOURCEGOVERNORRECONFIGURE
GO

通过对IO资源池的资源设定,我们可以控制每个客户需要的资源。这可以保证性能不会受其他客户的影响,同时也可以基于用户的资源请求设定不同的SLA或者数据库服务。

另一个场景是可以将OLTP工作负载与维护操作进行隔离。比如重建索引是一种常见的操作,因为要扫描整个索引或者表,会导致大量的IO请求。通过使用IO资源治理我们可以限制这些操作的IO复杂,从而保证OLTP的并发和性能不受影响。

可以提供下载downloadingtheSQLServer2014CTP2测试这个功能。

原文来自:http://blogs.technet.com/b/dataplatforminsider/archive/2013/11/07/io-resource-governance-in-sql-server-2014.aspx


本文转自 lzf328 51CTO博客,原文链接:http://blog.51cto.com/lzf328/1324689

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
相关文章
|
2月前
|
关系型数据库 MySQL 网络安全
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
5-10Can't connect to MySQL server on 'sh-cynosl-grp-fcs50xoa.sql.tencentcdb.com' (110)")
|
4月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之使用API调用ODPS SQL时,出现资源被定时任务抢占,该怎么办
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
SQL 存储 监控
SQL Server的并行实施如何优化?
【7月更文挑战第23天】SQL Server的并行实施如何优化?
111 13
|
4月前
|
SQL
解锁 SQL Server 2022的时间序列数据功能
【7月更文挑战第14天】要解锁SQL Server 2022的时间序列数据功能,可使用`generate_series`函数生成整数序列,例如:`SELECT value FROM generate_series(1, 10)。此外,`date_bucket`函数能按指定间隔(如周)对日期时间值分组,这些工具结合窗口函数和其他时间日期函数,能高效处理和分析时间序列数据。更多信息请参考官方文档和技术资料。
|
4月前
|
SQL 存储 网络安全
关系数据库SQLserver 安装 SQL Server
【7月更文挑战第26天】
60 6
|
4月前
|
存储 SQL C++
对比 SQL Server中的VARCHAR(max) 与VARCHAR(n) 数据类型
【7月更文挑战7天】SQL Server 中的 VARCHAR(max) vs VARCHAR(n): - VARCHAR(n) 存储最多 n 个字符(1-8000),适合短文本。 - VARCHAR(max) 可存储约 21 亿个字符,适合大量文本。 - VARCHAR(n) 在处理小数据时性能更好,空间固定。 - VARCHAR(max) 对于大文本更合适,但可能影响性能。 - 选择取决于数据长度预期和业务需求。
371 1
|
3月前
|
SQL 安全 Java
驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version TLS10 is not accepted by client
驱动程序无法通过使用安全套接字层(SSL)加密与 SQL Server 建立安全连接。错误:“The server selected protocol version TLS10 is not accepted by client
467 0
|
4月前
|
SQL Oracle 关系型数据库
MySQL、SQL Server和Oracle数据库安装部署教程
数据库的安装部署教程因不同的数据库管理系统(DBMS)而异,以下将以MySQL、SQL Server和Oracle为例,分别概述其安装部署的基本步骤。请注意,由于软件版本和操作系统的不同,具体步骤可能会有所变化。
304 3
|
4月前
|
SQL 存储 安全
数据库数据恢复—SQL Server数据库出现逻辑错误的数据恢复案例
SQL Server数据库数据恢复环境: 某品牌服务器存储中有两组raid5磁盘阵列。操作系统层面跑着SQL Server数据库,SQL Server数据库存放在D盘分区中。 SQL Server数据库故障: 存放SQL Server数据库的D盘分区容量不足,管理员在E盘中生成了一个.ndf的文件并且将数据库路径指向E盘继续使用。数据库继续运行一段时间后出现故障并报错,连接失效,SqlServer数据库无法附加查询。管理员多次尝试恢复数据库数据但是没有成功。
|
4月前
|
SQL 监控 数据库
SQL Server 查询超时问题排查
【7月更文挑战第8天】排查 SQL Server 查询超时涉及五个主要方面:检查复杂查询、评估服务器性能、审视配置参数、更新统计信息和分析执行计划。关注点包括查询的结构(如连接、子查询和索引),服务器资源(CPU、内存、网络延迟),连接和内存设置,以及统计信息的时效性。通过这些步骤可定位并解决性能瓶颈。
118 0