开发者社区> 吞吞吐吐的> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

SqlBulkCopy批量复制数据

简介:
+关注继续查看

在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而 在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关 系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数 据迁移到目标数据库中。
下面我们先通过一个简单的例子说明这个类的使用:

首先:web.config

 <connectionStrings>
    
<add name="srcDBConnection" connectionString="server=.;database=pubs;uid=sa;pwd="/>
    
<add name="desDBConnection" connectionString="server=.;database=NorthWind;uid=sa;pwd="/>
  
</connectionStrings>

C#文件: 前台不Copy了,就一个按钮,一个Label

using System;
using System.Data;
using System.Configuration;
using System.Collections;
using System.Web;
using System.Web.Security;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.WebControls.WebParts;
using System.Web.UI.HtmlControls;
using System.Data.SqlClient;

public partial class ASP_NET : System.Web.UI.Page
{
    
private DateTime startTime;

    
protected void Button1_Click(object sender, EventArgs e)
    
{
        startTime 
= DateTime.Now;
        
string srcConnString = "";
        
string desConnString = "";
        SqlConnection srcConnection 
= new SqlConnection();
        SqlConnection desConnection 
= new SqlConnection();
        SqlCommand sqlcmd 
= new SqlCommand();
        SqlDataAdapter da 
= new SqlDataAdapter();
        DataTable dt 
= new DataTable();
        
//srcConnString = ConfigurationManager.ConnectionStrings["srcDBConnection"].ConnectionString;
        desConnString = ConfigurationManager.ConnectionStrings["desDBConnection"].ToString();
        
//srcConnection.ConnectionString = srcConnString;
        srcConnection.ConnectionString = desConnString;
        sqlcmd.Connection 
= srcConnection;
        
//sqlcmd.CommandText = "select * from jobs";
        sqlcmd.CommandText = "select * from abc";
        sqlcmd.CommandType 
= CommandType.Text;
        sqlcmd.Connection.Open();
        da.SelectCommand 
= sqlcmd;
        da.Fill(dt);

        SqlBulkCopy sbc 
= new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
        sbc.BulkCopyTimeout 
= 5000;
        sbc.SqlRowsCopied 
+=new SqlRowsCopiedEventHandler(OnRowsCopied);
        sbc.NotifyAfter 
= dt.Rows.Count;

        
try
        
{
           
// sbc.DestinationTableName = "jobs";
            sbc.DestinationTableName = "bcd";
            sbc.WriteToServer(dt);
        }

        
catch (Exception ex)
        
{
            lblCounter.Text 
= ex.Message.ToString();
        }

        
finally
        
{
            sqlcmd.Clone();
            srcConnection.Close();
            desConnection.Close();
            
        }


    }

    
private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)
    
{
        lblCounter.Text 
+= args.RowsCopied.ToString() + " rows are copied<Br>";
        TimeSpan copyTime 
= DateTime.Now - startTime;
        lblCounter.Text 
+= "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";
    }

}

代码分析:

SqlBulkCopy sbc = new SqlBulkCopy(desConnString,SqlBulkCopyOptions.UseInternalTransaction);
先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。

sbc.BulkCopyTimeout = 5000000;    //指定操作完成的Timeout时间

 sbc.SqlRowsCopied +=new SqlRowsCopiedEventHandler(OnRowsCopied);
  sbc.NotifyAfter 
= dt.Rows.Count;

        
try
        
{
           
// sbc.DestinationTableName = "jobs";
            sbc.DestinationTableName = "bcd";
            sbc.WriteToServer(dt);
        }

NotifyAfter 属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。 WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定 DestinationTableName属性,也就是目标数据库的表名,

性能方面:我在Sql中用proc插入68万条数据花了近8分钟,用SqlBulkCopy花了53.234秒~,效率高了7倍耶!不过现在也不做这方面的底层了,呵呵,把自己写的一个测试存储过程也贴上吧,方便自己学习

create table abc
(
  aid 
int identity(1,1primary key,
  adesc 
varchar(50not null
)
go

/**********存储过程**********************/
create proc addData
as
declare @i int
set @i=1
while @i < 1000000
begin
insert into abc values ('testDescription')
set @i = @i + 1
end
go

select * into titles from pubs.dbo.titles where  1> 3 复制跨数据库的表结构

转自http://blog.csdn.net/huaer1011/archive/2008/04/21/2312361.aspx

分类: SQL
本文转自左正博客园博客,原文链接:http://www.cnblogs.com/soundcode/archive/2012/05/21/2511103.html,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
C# 使用SqlBulkCopy类批量复制大数据
特别注意  sqlbulkcopy.ColumnMappings.Add(dt.Columns[i].ColumnName, dt.Columns[i].ColumnName); 插入的时候列的顺序可以不一致,但名称和数据类型最好要保存一致。
729 0
SqlBulkCopy与触发器,批量插入表(存在则更新,不存在则插入)
原文:SqlBulkCopy与触发器,批量插入表(存在则更新,不存在则插入) 临时表:Test /****** 对象: Table [dbo].[Test] 脚本日期: 05/10/2013 11:42:07 ******/ SET ANSI_NULLS ON GO SET QUOTED_IDENTIFIER ON GO CREATE TABLE [dbo].
880 0
SqlBulkCopy加了事务真的会变快吗?
在上一篇文章不同版本的SQL Server之间数据导出导入的方法及性能比较中比较了5种方法进行数据迁移的效率,最后发现使用SqlBulkCopy具有极高的性能。 在文章的回复中,园友温景良(Jason)提到:sqlbulkcopy如果加上事务呢,速度应该快些吧! 当时我一想,SqlBulkCopy可以包含在事务里面执行吗?因为我记得SqlBulkCopy是基于BCP且不写log的。
786 0
SqlBulkCopy批量插入数据时,不执行触发器和约束的解决方法
原文:SqlBulkCopy批量插入数据时,不执行触发器和约束的解决方法 在new SqlBulkCopy对象的时候,设置一下SqlBulkCopyOptions选项即可,按位或运算 SqlBulkCopyOptions.
733 0
C#使用SqlBulkCopy将DataTable写入数据库的表中(表不存在则创建新表,数据存在则更新,不存在则插入)
原文:.net使用SqlBulkCopy导入数据(创建新表) .net2.0后ado.net提供了一个快速导入sqlserver的方法sqlbulkcopy.导入效率非常高.  包装了一个简单的sqlbulkcopy类,用于数据从datatable导入到sqlserver.
1616 0
C# 批量插入表SQLSERVER SqlBulkCopy往数据库中批量插入数据
#region 帮助实例:SQL 批量插入数据 多种方法 /// /// SqlBulkCopy往数据库中批量插入数据 /// /// 数据源表 /// 服务器上目标表 /// 创建新的列映射,并使用列序号引用源列和目标列的列名称。
1340 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载