我们可以把SSIS中的整个package包含在一个事务中,但是如果在package的执行过程中有一个表需要锁定应该怎么处理呢?SSIS内建的事务处理可以解决这个问题。在此之前首先来熟悉一下SQL Server中的事务的概念。
事务
SQL Server中的事务是单个的工作单元。如果某一事务成功,则在该事务中进行的所有数据修改均会提交,成为数据库中永久的组成部分。如果事务遇到错误且必须取消或回滚,则所有的数据修改均被清除。
在SQL Server中使用事务有可能会造成一些预想不到的结果,具体来说有脏读,不可重复读和幻读三种结果。
- 脏读:脏读是指当一个事务正在访问数据库,并且对数据进行修改,而这种修改还没有提交到数据库中,另外一个事务也在访问这个数据,然后使用了这个数据。
- 不可重复读:在一个事物内多次读同一数据。在这个事务还没有结束时,另外一个事物也在访问该同一数据,那么在第一个事务两次读取之间,由于第二个事务的修改,第一个事务两次读取到的数据可能不一样。这样就发生了在一个事务内两次读取到的数据不一样,因此称为不可重复读。
- 幻读:幻读是指当事务不是独立执行时发生的一种现象,例如第一个事务对一个表中的数据进行修改,这种修改设计到表中的全部数据行。同时第二个事务也修改这个表中的数据,这个修改时向同一个表中插入一行新数据,这样第一个事务的用户发现还有一条数据没有修改,像发生了幻觉一样,因此称为幻读
在SQL Server中给事务指定一个隔离级别,这个隔离级别定义该事务与其他事务进行资源或数据更改相隔离的级别。事务隔离级别决定了是否锁定SQL Server对象,下面是SQL Server中的事务隔离级别。
- Rdad Uncommitted: 读取数据不需要等待解锁,这种方式会读到脏数据,因为读取的数据有可能是还没有更新的数据。这种隔离级别最低,会造成脏读,不可重复读和幻读的结果,并发性最高。
- Read Committed: 读取数据需要等待解锁,这样会读取到最新的被更新的数据。Read Committed不会造成脏读的问题,但是会造成不可重复的和幻读的问题。Read Committed是SQL Server的默认设置。
- Repeatable Read: 与Read Committed类似,它会锁定所读取的所有行,但是没有其他的连接可以更新或插入数据,这样如果select语句可能选择到这条新跟新或插入的数据,这条数据记录是不会出现在select结果中的。同时被选择出的数据也不能被其他连接更改,直到读取动作执行结束或者回滚结束。这种隔离级别不会造成脏读和不可重复读,但是会造成幻读。
- Serializable:和Repeatable Read类似,不过没有其他的连接可以插入或更新数据,同时如果在下次查询中任然使用这种事务隔离级别,你会得到相同的查询结果,就是说更新或新插入的数据任然不会出现在查询结果中。这种隔离级别不会造成脏读,不可重复读或幻读。
还有两种是SQL Server 2005中新添加的事务隔离级别
- 一种Read Committed级别的变异,当你把数据库的隔离级别设置成READ_COMMITTED_SNAPHOT,任何使用Read Committed级别的的事务不再需要锁定数据对象。执行语句时会得到select语句开始执行之时会得到所有最新的结果。
- SNAPSHOT:一种全新的级别SNAPSHOT,当你在任何数据库对象中设置事务的隔离级别为ALLOW_SNAPSHOT_ISOLATION时,其他事务都不会遇到共享锁,查询结果会得到所有更新之后的行。这种隔离级别不会造成脏读,不可更新读和幻读的结果
所有上述的事务处理都在tempdb数据库中一个类似版本库的数据对象中自动进行,当遇到更新未被提交的情况,数据引擎会检索这个版本库得到合适的提交结果。维护这个版本库的工作由SQL Server自动进行,不需要人为干预。
SSIS中的事务处理
SSIS中的包,容器(例如Loop,Foreach Loop,Sequence)或者一个单独的任务中都可以设置事务处理选项。事务处理选项有下面一些值
- Required-如有事务则添加,否则新添加一个
- Supported-如有有事务添加一个,没有则不添加,这是默认选项+
- NotSupported-不添加事务处理
内建的事务处理要使用Distributed Transaction Coordinator(MSDTC)服务,这个服务必须开启。MSDTC允许使用分布式事务处理,例如在一个事务中同时处理SQL Server数据库和Oracle数据库。如果没有开启这个服务会得到下面的错误提示.
Error: 0xC001401A at Transaction: The SSIS Runtime has failed to start the distributed transaction due to error 0x8004D01B "The Transaction Manager is not available.". The DTC transaction failed to start. This could occur because the MSDTC Service is not running.
注意SSIS中包中的元素的事务隔离级别是Serializable,这种级别会影响锁的持续时间。下面我们来用一个例子说明在如何package中锁定一个表
- 新建一个SequenceContainer,命名为Test Initialization。
- 这个SequenceContainer主要用来创建测试的环境,创建连个表TranQueue,TranQueueHistory,向第一个表中添加一条记录,这样模拟一个事物处理 过程。我们只是使用这个SequenceContainer来创建测试环境,所以设置它的TransactionOption选项为NotSupported在这个SequenceContainer中依次添加三个Execute SQL,依次他们的设置如下
1 /* 命名 */
2 Create TranQueue Table
3 /* SQLstatement设置 */
4 IF NOT EXISTS ( SELECT * FROM sys.objects WHERE object_id =
5
6 OBJECT_ID (N ' dbo.TranQueue ' ) AND type in (N ' U ' ) )
7 BEGIN
8 execute ( ' CREATE TABLE dbo.TranQueue(message nvarchar(256)) ' )
9 END
10 /* 命名 */
11 Populate TranQueue
12 /* SQLstatement设置 */
13 INSERT INTO dbo.TranQueue VALUES ( ' Test Message ' + CONVERT
14
15 ( NVARCHAR ( 23 ), GETDATE (), 121 ))
16 /* 命名 */
17 Create TranQueueHistory table
18 /* SQLstatement设置 */
19 IF NOT EXISTS ( SELECT * FROM sys.objects WHERE object_id =
20
21 OBJECT_ID (N ' dbo.TranQueueHistory ' ) AND type in (N ' U ' ) )
22 BEGIN
23 execute ( ' CREATE TABLE dbo.TranQueueHistory(message nvarchar(256)) ' )
24 END - 创建第二个SequenceContainer,命名为Process,TransactionOption属性设置为Supported,这样就会添加事务处理。
- 在这个SequenceContainer中添加一个Execute SQL,命名为ProcessTranQueue,它的SQLStatement设置为下面的语句。这个语句的作用,模拟事务处理,删除TranQueue表中前10条数据;OUTPUT字句将删除的数据插入到TranQueueHistory表中,模拟处理结束,更新历史记录
1 DELETE TOP ( 10 ) dbo.TranQueue
2 OUTPUT DELETED. *
3 INTO dbo.TranQueueHistory
4 FROM dbo.TranQueue WITH (TABLOCKX) - 添加一个Execute SQL,命名为Placeholder for Breakpoint。这个任务不进行任何操作,只是为了在这设置一个断点然后在这里停下来让我们有时间验证是否会锁定表。
- 右击Control Flow界面添加一个变量v_SimulateFailure,类型为Int32,值为1。
- 添加一个Execute SQL命名为Simulate Failure。用它来模拟错误,设置SQLStatement为select 1/0,当pacakage执行到这里的时候会造成错误进而回滚。
- 右击Placeholder for Breakpoint和Simulate Failure之间的连线,点击Edit,设置Evaluation operation为Expression and Constraint,设置Expression为@[User::v_SimulateFailure] == 1,其他保持默认。这样之后这个自定义变量的值为1的时候才会继续往下执行。
- 执行package,会得到如图1的结果,package在断点处终止。
图1
10.打开SQL Server Management Studion,选择对应的数据库,新建一个Query,执行下面的语句,NOLOCK选项忽略锁,这个语句查询得到一条记录 Message2011-04-10 14:22:31.043,但是这条记录并没有提交
1SELECT * FROM dbo.TranQueueHistory WITH (NOLOCK)
11.执行下面的语句
语句将阻塞在这里,语句一直停留在执行状态,不会结束。因为在Process TranQueue任务中我们使用TABLOCKX,在这里将等待任务回滚或者提交。或者可以写成这样,它任然会阻塞
2 INSERT INTO dbo.TranQueueHistory VALUES ( ' Test Message ' + CONVERT ( NVARCHAR ( 23 ), GETDATE (), 121 ))
12. 点击Continue按钮或者Debuge按钮,会看到package执行失败,执行SELECT * FROM dbo.TranQueueHistory
WITH (NOLOCK);因为执行了回滚,不会得到任何结果。SELECT * FROM dbo.TranQueue,任然有一条记录。
SELECT * FROM dbo.TranQueueHistory WITH (NOLOCK)
NOLOCK提示忽略锁,这个语句查询得到一条记录 Message2011-04-10 14:22:31.043,但是这条记录并没有提交
13. 执行下面的语句,
SELECT * FROM dbo.TranQueue
sql语句将阻塞在这里,语句一直执行。因为在Process TranQueue任务中我们使用TABLOCKX,在这里将等待任务回滚或者提交。或者可以写成这样
DELETE TOP(10) dbo.TranQueue;INSERT INTO dbo.TranQueueHistory VALUES ('Test Message' + CONVERT(NVARCHAR(23), GETDATE(), 121)),它任然会阻塞
14. 点击Continue按钮或者Debuge按钮,会看到package执行失败,执行SELECT * FROM dbo.TranQueueHistory WITH (NOLOCK);因为执行了回滚,不会得到任何结果。执行SELECT * FROM dbo.TranQueue,任然有一条记录。
如果设置变量User::v_SimulateFailure的值为0,不会执行Simulate Failure任务,就不会回滚,TranQueue中的记录会被写入到TranQueueHistory中。这里有一个很有意思的语句:
DELETE TOP(10) dbo.TranQueue
OUTPUT DELETED.*
INTO dbo.TranQueueHistory
FROM dbo.TranQueue WITH (TABLOCKX)
如果两个表的结构有一部分是是一样的,现在想把一个表的数据导入到另外一个表中,可以使用DELETE SourceTable OUTPUT DELETE.*/DELETE.Column1,DELETE.Column2... INTO DestinationTable FROM SourceTable,这样第一个表中的数据会被“剪切”到第二个表中。
作者:Tyler Ning
出处:http://www.cnblogs.com/tylerdonet/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,如有问题,可以通过以下邮箱地址williamningdong@gmail.com 联系我,非常感谢。