不同版本的SQL Server之间数据导出导入的方法及性能比较

本文涉及的产品
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
云数据库 RDS SQL Server,基础系列 2核4GB
简介: 工作中有段时间常常涉及到不同版本的数据库间导出导入数据的问题,索性整理一下,并简单比较下性能,有所遗漏的方法也欢迎讨论、补充。 00.建立测试环境 01.使用SQL Server Import and Export Tool 02.

工作中有段时间常常涉及到不同版本的数据库间导出导入数据的问题,索性整理一下,并简单比较下性能,有所遗漏的方法也欢迎讨论、补充。

00.建立测试环境

01.使用SQL Server Import and Export Tool

02.使用Generate Scripts

03.使用BCP

04.使用SqlBulkCopy

05.使用Linked Server进行数据迁移

06.使用RedGate的SQL Data Compare

07.结果对比

可以先看下测试的结果

 

00.建立测试环境

建立一个测试的环境,一个数据源数据库,版本为SQL Server 2008,一个目标数据库,版本为SQL Server 2000。

实验环境如下图所示,源数据库使用语句生成了100万的测试数据。

 

img_405b18b4b6584ae338e0f6ecaf736533.gif 建立测试表并生成100万的测试数据
 1  IF  OBJECT_ID( ' DEMOTABLE 'IS  NOT  NULL 
 2      DROP  TABLE DEMOTABLE
 3  GO
 4  CREATE  TABLE DEMOTABLE
 5     (
 6       COL1  VARCHAR( 50) ,
 7       COL2  VARCHAR( 50) ,
 8       COL3  VARCHAR( 50)
 9     )
10  INSERT   INTO DEMOTABLE
11          SELECT  TOP  1000000
12                  NEWID() ,
13                  NEWID() ,
14                  NEWID()
15          FROM    MASTER..SPT_VALUES T1
16                  INNER  JOIN MASTER..SPT_VALUES T2  ON  1  =  1
17                  INNER  JOIN MASTER..SPT_VALUES T3  ON  1  =  1

 01.使用SQL Server Import and Export Tool

使用SQL Server Import and Export Tool进行数据的导出,也可以在目标数据库端使用Import进行导入,这部分套件也是SSIS的一部分。

在源数据库上右键,选择Task -> Export Data

分别填写源数据库和目标数据库的连接信息。

 

 

选择“copy data from one or more tables or views”

选择需要导数据的表,并且可以编辑列的Mapping关系。

可以选择立即执行或者存储为SSIS的包,用于执行计划等其他用途。

这里我们选择立即执行。

注意导入的时候如果遇到如下的错误

Error 0xc02020f4: Data Flow Task: The column "Tel" cannot be processed because more than one code page (936 and 1252) are specified for it.
(SQL Server Import and Export Wizard)

是因为两边的数据库的Collation设置不一样造成的,需要设置同样的Collation。

  • 用时约1分30秒

02.使用Generate Scripts生成脚本

在源数据库上右键,选择Task -> Geneate Scripts...

配置相关信息,注意选择数据库的版本并将Script Data设置成True。

这里需要注意,因为有100万的数据,所以导出的SQL文件就有400多M,所以用SQL Server Management Studio是打不开的。

所以只能使用sqlcmd执行。

img_405b18b4b6584ae338e0f6ecaf736533.gif sqlcmd语句
1 C:\ >sqlcmd  -i export.sql  -d ExportDataDemo_Destination  -192.168. 21.165  -U sa  -1234567890
  • 用时约28分钟

 03.使用BCP进行导出导入

在尝试了前面两个效率低下的工具之后,我们终于开始尝试下SQL Server中专门用于导数据的工具:BCP。

关于BCP的详细用法可以参见MSDN的帮助文档

我们先使用BCP导出数据。

-U和-P后面分别为数据库的用户名和密码。

我们可以看到100万的数据导出仅用了1.8秒。

现在我们再使用BCP进行导入。

执行后发现,导入数据使用了20.8秒,还是很快的。

  • 用时1.872秒+20.810秒=22.682秒

 04.使用SqlBulkCopy

.NET Framework 2.0中增加的SqlBulkCopy类可以进行高效的数据迁移动作,这也为代码实现数据迁移提供了接口。

并且SqlBulkCopy类提供了修改字段Mapping关系的方法ColumnMappings

img_405b18b4b6584ae338e0f6ecaf736533.gif 使用SqlBulkCopy类进行数据迁移
 1  using System;
 2  using System.Data;
 3  using System.Data.SqlClient;
 4 
 5  namespace BulkInsert
 6 {
 7      static  class Program
 8     {
 9          static  void Main()
10         {
11             DateTime dateTimeStart = DateTime.Now;
12             Console.WriteLine( " Start Insert: " + dateTimeStart.ToString( " HH:mm:ss fff "));
13              // 导入导出的数据库连接
14              SqlConnection connectionDestination =  new SqlConnection( " Server =.; User ID=datascan; Password=DTSbsd7188228; Initial CataLog=ExportDataDemo_Destination; ");
15             SqlConnection connectionSource =  new SqlConnection( " Server =.; User ID=datascan; Password=DTSbsd7188228; Initial CataLog=ExportDataDemo_Source; ");
16 
17              // 实例化一个SqlBulkCopy
18               var bulker =  new SqlBulkCopy(connectionDestination) { DestinationTableName =  " DEMOTABLE ", BulkCopyTimeout =  600 };
19 
20              // 获取源数据库的数据
21              SqlCommand sqlcmd =  new SqlCommand( " SELECT * FROM DEMOTABLE ", connectionSource);
22             SqlDataAdapter sqlDataAdapter =  new SqlDataAdapter(sqlcmd);
23             DataTable dataTableSource =  new DataTable();
24             sqlDataAdapter.Fill(dataTableSource);
25 
26              // 可以重新定义字段的Mapping关系
27               // SqlBulkCopyColumnMapping sqlBulkCopyColumnMapping = new SqlBulkCopyColumnMapping("COL1", "NEW_COL1");
28               // bulker.ColumnMappings.Add(sqlBulkCopyColumnMapping);
29              connectionDestination.Open();
30             bulker.WriteToServer(dataTableSource);
31             bulker.Close();
32             DateTime dateTimeEnd = DateTime.Now;
33             Console.WriteLine( " Insert Ending: " + dateTimeEnd.ToString( " HH:mm:ss fff "));
34         }
35     }
36 }

执行后

  • 用时14.8秒

05.使用Linked Server进行数据迁移

先在源数据库上对目标数据库建立Linked Server,或者反过来也行。

img_405b18b4b6584ae338e0f6ecaf736533.gif 建立Linked Server
1  EXEC sp_addlinkedserver  @server  =  ' LinkedServerToDemo ',
2      @srvproduct  =  ' Export Data Testing '@provider  =  ' MSDASQL ',
3      @provstr  =  ' DRIVER={SQL Server};SERVER=192.168.21.165;UID=sa;PWD=password; '

 

img_405b18b4b6584ae338e0f6ecaf736533.gif 是用INSERT INTO...SELECT...进行导入
 1  DECLARE  @begin_date  DATETIME
 2  DECLARE  @end_date  DATETIME
 3  SELECT   @begin_date  =  GETDATE()
 4 
 5  INSERT   INTO LinkedServerToDemo.ExportDataDemo_Destination.dbo.DEMOTABLE
 6          SELECT   *
 7          FROM    ExportDataDemo_Source.dbo.DEMOTABLE
 8         
 9  SELECT   @end_date  =  GETDATE()
10  SELECT   DATEDIFF(ms,  @begin_date@end_dateAS  ' 用时/毫秒 ' 

执行用时

  • 用时7.97分钟

06.使用RedGate的SQL Data Compare进行数据迁移

第三方的工具,有数据库结构比较的工具SQL Compare和数据比较工具SQL Data Compare。

执行

因为也是生成INSERT的SQL执行的,所以就不做过多比较了,上面已经测试过了。

07.结果对比

因为这里测试的环境有网络和表结构的特殊情况,不能说明所有情况下效能的差异,但是也可作为参考之用。

下面给出比较结果。

 


作者:Parry
出处:http://www.cnblogs.com/parry/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
相关文章
|
2天前
|
SQL 监控 安全
Flask 框架防止 SQL 注入攻击的方法
通过综合运用以上多种措施,Flask 框架可以有效地降低 SQL 注入攻击的风险,保障应用的安全稳定运行。同时,持续的安全评估和改进也是确保应用长期安全的重要环节。
29 14
|
24天前
|
SQL 存储 缓存
如何优化SQL查询性能?
【10月更文挑战第28天】如何优化SQL查询性能?
80 10
|
25天前
|
SQL BI 数据库
SQL操作的一些基本方法
【10月更文挑战第27天】SQL操作的一些基本方法
32 3
|
25天前
|
SQL 监控 固态存储
SQL优化有哪些方法?
【10月更文挑战第27天】SQL优化有哪些方法?
20 3
|
25天前
|
SQL 关系型数据库 MySQL
惊呆:where 1=1 可能严重影响性能,差了10多倍,快去排查你的 sql
老架构师尼恩在读者交流群中分享了关于MySQL中“where 1=1”条件的性能影响及其解决方案。该条件在动态SQL中常用,但可能在无真实条件时导致全表扫描,严重影响性能。尼恩建议通过其他条件或SQL子句命中索引,或使用MyBatis的`<where>`标签来避免性能问题。他还提供了详细的执行计划分析和优化建议,帮助大家在面试中展示深厚的技术功底,赢得面试官的青睐。更多内容可参考《尼恩Java面试宝典PDF》。
|
2月前
|
SQL 安全 关系型数据库
SQL语句中表名通配符的使用技巧与方法
在SQL查询中,通配符通常用于匹配字符串数据,如列值中的部分字符
|
3月前
|
SQL 数据库
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
SQL Server附加数据库出现错误823,附加数据库失败。数据库没有备份,无法通过备份恢复数据库。 SQL Server数据库出现823错误的可能原因有:数据库物理页面损坏、数据库物理页面校验值损坏导致无法识别该页面、断电或者文件系统问题导致页面丢失。
103 12
数据库数据恢复—SQL Server数据库报错“错误823”的数据恢复案例
|
16天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤,您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
|
17天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化(可选)。通过这些步骤,你可以成功安装并初步配置 SQL Server 2019,进行简单的数据库操作。
|
2月前
|
存储 数据挖掘 数据库
数据库数据恢复—SQLserver数据库ndf文件大小变为0KB的数据恢复案例
一个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成一个NDF文件,每个NDF几百GB大小。数据库包含两个LDF文件。 存储损坏,数据库不可用。管理员试图恢复数据库,发现有数个ndf文件大小变为0KB。 虽然NDF文件大小变为0KB,但是NDF文件在磁盘上还可能存在。可以尝试通过扫描&拼接数据库碎片来恢复NDF文件,然后修复数据库。
下一篇
无影云桌面