浅谈数据库资源使用的按需分配方法

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
简介: 如果有5个业务都很繁忙的数据库需要部署在一台服务器上,为了避免相互的资源抢占,我们通常会在服务器上安装5个SQL Server实例来分别承载这5个数据库,然后分别设置每个实例的最大和最小内存、CPU掩码等,用以s控制这5个业务数据库的资源分配。

SQL Server资源调节器的作用

如果有5个业务都很繁忙的数据库需要部署在一台服务器上,为了避免相互的资源抢占,我们通常会在服务器上安装5个SQL Server实例来分别承载这5个数据库,然后分别设置每个实例的最大和最小内存、CPU掩码等,用以s控制这5个业务数据库的资源分配。

笔者的公司曾经就有这样的案例。这种方式的缺点显而易见:首先是授权,在上述例子中,5个SQL Server实例的费用应该是比1个要高;其次是管理成本提高,DBA不得不安装和维护5个实例。那么,有没有更好的方法呢?

其实从SQL Server2008(企业版)开始,微软就已经考虑过这种情况,并提出解决方案——“SQL Server的资源调节器”。SQL Server的资源调节器引入了一种多租户的理念,它将一个SQL Server实例的资源“出租”给不同的客户端负载,每个客户端负载所分配到的资源彼此隔离,互不影响。

下面我们看看SQL Server的资源调节器的原理和一个实例的来了解下SQL Server的资源调节器:

 

SQL Server的资源调节器的原理

在SQL Server的资源调节器有三个重要的概念:

1. 资源池

在上文多租户的理念中,不同的客户端负载之所以能够分配彼此隔离的资源,其原因就是他们拥有各自独立的资源池。

在资源池里面,DBA可以设置最大、最小内存和CPU资源,也就是说,资源池实际上就是内存和CPU资源的集合,DBA根据业务的需要,可以为重要业务设置较大的资源池,而SLA较低的业务设置小的资源池。

2. 工作组的负载

工作组负载是一些具有共同特征的客户端请求的集合。SQL Server将客户端请求按照一定的规则分类后,形成多个工作组负载。

工作组负载是资源池利用的主体。将不同的资源池绑定到不同的工作组负载,从而实现了各个工作组负载的资源隔离。

3. 分类器

分类器提供一套划分工作组负载的规则,在此规则基础上,SQL Server将客户端的请求进行分类形成多个工作组。

举个例子:把SQL Server的用户名作为一个分类器,来自A用户的所有请求划分到工作组负载1,来自B用户的所有请求划分到工作组负载2。然后工作组负载1和2分别对应不同的资源池。

原理图如下:

clip_image002

 

用资源调节器来分配两个数据库的CPU资源

假设有市场和销售两个部门,各自使用不同的数据库,但两个数据库在同一个SQL Server实例上,为了确保两个部门的数据库彼此不受对方资源使用的影响,我们使用SQL Server的资源调控器来控制两个数据库的资源使用。

1. 创建测试数据库

create database Sales

create database Marketing

 

2. 配置CPU环境

为了更好的查看CPU资源的争用情况,我们先设置SQL Server的CPU affinity mask,使SQL Server只能使用一个逻辑核心,所有的工作组负载共享同一个CPU核心资源。

sp_configure 'show advanced', 1

GO

RECONFIGURE

GO

sp_configure 'affinity mask', 1

GO

RECONFIGURE

GO

 

3. 配置资源调控器

1) 创建资源池

CREATE RESOURCE POOL SalesPool

CREATE RESOURCE POOL MarketingPool

2) 创建工作组负载

--创建SalesGroup的工作组,并绑定到SalesPool

CREATE WORKLOAD GROUP SalesGroup

USING SalesPool

--创建MarketingGroup的工作组,并绑定到MarketingPool

CREATE WORKLOAD GROUP MarketingGroup

USING MarketingPool

GO

3) 创建分类器(分类函数)

--创建自定义的二分类函数,按照客户端连接字符串中的数据库分类并返回数据库的名字

CREATE FUNCTION CLASSIFIER_DbName()

RETURNS SYSNAME WITH SCHEMABINDING

BEGIN

DECLARE @val varchar(32)

SET @val = 'default';

IF 'Sales' = ORIGINAL_DB_NAME()

SET @val = 'SalesGroup';

ELSE IF 'Marketing' = ORIGINAL_DB_NAME()

SET @val = 'MarketingGroup';

RETURN @val;

END

GO

--将分类函数绑定到资源调节器中

ALTER RESOURCE GOVERNOR

WITH (CLASSIFIER_FUNCTION = dbo.CLASSIFIER_DbName)

GO

4) 启用资源调控器

ALTER RESOURCE GOVERNOR RECONFIGURE

GO

 

4. 测试sales数据库的负载

Ø 创建如下测试SQL语句,并保存到workload.sql文件中

SET NOCOUNT ON

DECLARE @i INT

DECLARE @s VARCHAR(100)

SET @i = 100000000

WHILE @i > 0

BEGIN

SELECT @s = @@version;

SET @i = @i - 1;

END

Ø 以管理员身份运行cmd

Ø 然后以sqlcmd的方式加载workload.sql语句

sqlcmd -S localhost\sql2014 -U sa -P 95938 -d Sales –I "d:\workload.sql"

这条语句的意思是在sales数据库中执行workload.sql,

clip_image004

Ø 打开性能计数器

SQLServer:Resource Pool Stats->CPU usage

clip_image006

可以看到salespool的CPU资源占用情况如下图:

下图中,salespool CPU资源的使用率为25%,(相当于完全使用了使用了笔者电脑4核CPU中1核资源(前面设置了SQL Server的affinity mask为1))。因为我们在前面的分类器的中把sales数据库绑定到了资源池salespool上了,sales数据库的CPU资源占用情况就是25%。

clip_image008

 

5. 再测试下sales库和marketing库的资源争用情况

Ø 新开一个cmd窗口,执行如下语句:

sqlcmd -S localhost\sql2014 -U sa -P 95938 -d Marketing -i "d:\workload.sql"

这条语句的意思是在Marketing数据库中执行workload.sql,

此时出现如下结果:

salespool和marketingPool共享25%的CPU资源(且两者占用的资源量相同(接近),这是因为他们都是采用默认的资源分配权重)。这里的marketingPool同上文中介绍的salespool一样,它也是绑定到了一个数据库,不同的是这里绑定了marketing数据库。

因此,这两个资源池的CPU资源争用反映的就是sales数据库和Marketing数据库的资源争用。

clip_image010

备注:红色的曲线代表sales pool

绿色曲线代表marketingPool

Ø 现在,我们更改销售系统的资源池的CPU资源的权重为70

ALTER RESOURCE POOL SalesPool

WITH (MIN_CPU_PERCENT = 70)

GO

ALTER RESOURCE GOVERNOR RECONFIGURE

GO

结果如下:

此时salesPool占用的资源将增加到70%,而marketingPool的CPU资源降低到30%,两者按照7:3进行分配。

这样就相当于给sales数据库分配了更多的CPU资源,而削减了marketing的CPU资源。

clip_image012

 

6. 最后,我们来看一个设置最大CPU资源权重的例子

--设置MarketingPool的最大CPU占用

ALTER RESOURCE POOL MarketingPool

WITH (MAX_CPU_PERCENT = 5)

GO

ALTER RESOURCE GOVERNOR RECONFIGURE

GO

此时,在marketingPool占用的资源如下图:

clip_image014

如果此时在sales数据库中执行的workload.sql已经执行完毕,则marketing数据库会突破之前设置的MAX_CPU_PERCENT = 5的限制,使用到全部CPU资源,这样的好处就是可以充分利用资源,避免资源浪费。如下图的蓝色框中的曲线。

clip_image016

当然,如果你一定要限制Marketing数据库的CPU资源必须在5%以内,可以通过如下语句实现:

ALTER RESOURCE POOL MarketingPool

WITH (CAP_CPU_PERCENT=5)

GO

ALTER RESOURCE GOVERNOR RECONFIGURE

GO

总结

SQL Server资源调节器通过资源池、工作组负载、分类器等机制可以为不同的数据库、不同的请求、不同的用户分配彼此独立的CPU、内存、IO等资源,起到资源调节和隔离的作用。通过该技术,我们可以在确保每个数据库分配到合理的资源的前提下,合并多个数据库到同一个实例,也可以为某些SQL代码预定义服务器资源及避免某些SQL语句占用过多资源,还可以按照业务的优先级分配资源等。总之,使用SQL Server资源调节器可以更为细腻的分配服务器资源,是DBA的必杀技之一。

 

2015.1.8补充:

我在样例中使用的创建资源池的方法非常简单,其实,详细的语法如下:

CREATE RESOURCE POOL pool_name
[ WITH
    (
        [ MIN_CPU_PERCENT = value ]
        [ [ , ] MAX_CPU_PERCENT = value ] 
        [ [ , ] CAP_CPU_PERCENT = value ] 
        [ [ , ] AFFINITY {SCHEDULER =
                  AUTO | ( <scheduler_range_spec> ) 
                | NUMANODE = ( <NUMA_node_range_spec> )} ] 
        [ [ , ] MIN_MEMORY_PERCENT = value ]
        [ [ , ] MAX_MEMORY_PERCENT = value ]
        [ [ , ] MIN_IOPS_PER_VOLUME = value ]
        [ [ , ] MAX_IOPS_PER_VOLUME = value ]
    ) 
]
[;]
相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS&nbsp;SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
1月前
|
存储 关系型数据库 MySQL
mysql数据库查询时用到的分页方法有哪些
【8月更文挑战第16天】在MySQL中,实现分页的主要方法包括:1)使用`LIMIT`子句,简单直接但随页数增加性能下降;2)通过子查询优化`LIMIT`分页,提高大页码时的查询效率;3)利用存储过程封装分页逻辑,便于复用但需额外维护;4)借助MySQL变量实现,可能提供更好的性能但实现较复杂。这些方法各有优缺点,可根据实际需求选择适用方案。
124 2
|
23天前
|
存储 监控 安全
阿里云数据库(ADB)的多租户秘籍:资源隔离的魔法如何施展?
【8月更文挑战第27天】多租户系统在云计算与大数据领域日益重要,它让不同用户或组织能在共享基础设施上独立运行应用和服务,同时确保资源隔离与安全。ADB(如阿里云数据库)通过资源组及标签实现高效多租户隔离。资源组作为一种软隔离策略,允许为不同租户分配独立的计算和存储资源,并设置资源上限;资源标签则支持更细粒度的硬隔离,可为每个数据库表或查询指定特定标签,确保资源有效分配。此外,ADB还提供了资源监控与告警功能,帮助管理员实时监控并调整资源分配,避免性能瓶颈。这种灵活且高效的资源隔离方案为多租户环境下的数据处理提供了强大支持。
66 0
|
4天前
|
消息中间件 关系型数据库 数据库
Python实时监测数据库表数据变化的方法
在实现时,需要考虑到应用的实时性需求、数据库性能影响以及网络延迟等因素,选择最适合的方法。每种方法都有其适用场景和限制,理解这些方法的原理和应用,将帮助开发者在实际项目中做出最合适的技术选择。
38 17
|
8天前
|
Oracle 安全 关系型数据库
Oracle数据恢复—Oracle数据库误删除的数据恢复方法探讨
删除Oracle数据库数据一般有以下2种方式:delete、drop或truncate。下面针对这2种删除oracle数据库数据的方式探讨一下oracle数据库数据恢复方法(不考虑全库备份和利用归档日志)。
|
9天前
|
存储 测试技术 数据库
数据库备份方法
数据库备份方法
25 2
|
9天前
|
存储 测试技术 数据库
数据库备份的方法
数据库备份的方法
18 1
|
1月前
|
存储 SQL 数据库
触发器的设计、掌握存储过程的基本概念和创建、执行、删除方法。掌握数据库备份的方法和数据库恢复的方法。
这篇文章介绍了数据库中触发器的设计概念,包括创建、修改、删除触发器的方法,并通过实验内容教授如何使用SQL命令创建DML触发器以及如何利用触发器实现数据的完整性和自动化处理。
触发器的设计、掌握存储过程的基本概念和创建、执行、删除方法。掌握数据库备份的方法和数据库恢复的方法。
|
19天前
|
SQL 关系型数据库 数据处理
|
28天前
|
存储 Serverless API
Serverless 架构实现弹幕场景问题之在initializer方法中初始化数据库实例如何解决
Serverless 架构实现弹幕场景问题之在initializer方法中初始化数据库实例如何解决
14 0
|
1月前
|
存储 SQL 关系型数据库
关系型数据库和非关系型数据库的区别和选择方法?
【8月更文挑战第17天】关系型数据库和非关系型数据库的区别和选择方法?
28 0