最佳实践 -SQL Server -使用SSMS和BCP迁移SQL Server数据库
本文以本地SQL Server数据库到阿里云云数据库SQL Server 2012的数据全量迁移为例,介绍了如何通过使用SQL Server Management Studio(SSMS)和大容量复制程序实用工具(BCP)来迁移SQL Server数据库。
适用场景
SQL Server数据库的结构迁移。数据的全量迁移,不支持数据的增量迁移。本地数据库到本地数据库、本地数据库到阿里云云数据库SQL Server和阿里云云数据库SQL Server间的数据全量迁移。
背景信息
SSMS 是用于管理SQL Server基础架构的集成环境,提供用于配置、监视和管理SQL Server实例的工具。 此外,它还提供了用于部署、监视和升级数据层组件(如应用程序使用的数据库和数据仓库)的工具以生成查询和脚本。
BCP 可以在SQL Server实例和用户指定格式的数据文件间大容量复制数据,您可以通过BCP实用工具将大量新行导入SQL Server表,或将表数据导出到数据文件。
所以,本文直接使用SSMS的功能来生成源端数据库对象结构的创建脚本,然后在目标数据库中去执行,进行数据库结构的迁移;再配合使用BCP命令行来进行数据库数据的导出和导入操作,进行数据的全量迁移。下面将介绍如何将本地SQL Server 2012数据库AdventureWorks2012的数据全量迁移到阿里云云数据库SQL Server 2012。
前提条件
目标数据库主机需要有充足的存储空间来存放导入的数据和因此而带来的日志文件增长,两者加起来的空间增长大概是源端数据库大小的2-3倍(如果数据库是Full模式)。如果目标数据库是在本地自建环境,请确保宿主机有足够的存储空间;如果是阿里云云数据库SQL Server,请确保已经购买了充足的存储空间。
注意事项
在创建目标数据库时,要确保目标数据库和源端数据库排序规则的一致性,否则很可能会导致全量数据迁移失败。为防止数据全量迁移过程报错,需要在目标数据库中禁用外键、索引和触发器,然后再启用,以此来避免错误发生和提高数据导入效率。BCP导入计算列或时间戳(timestamp)列时,会忽略它们的列值,SQL Server将自动分配该列的值。
linux下导入、导出mysql数据库命令
参考地址:linux下导入、导出mysql数据库命令
一、导出数据库用mysqldump命令(注意mysql的安装路径,即此命令的路径):1、导出数据和表结构:mysqldump -u用户名 -p 数据库名 > 数据库名.sql#/usr/local/mysql/bin/mysqldump -uroot -p abc > abc.sql敲回车后会提示输入密码2、只导出表结构mysqldump -u用户名 -p -d 数据库名 > 数据库名.sql#/usr/local/mysql/bin/mysqldump -uroot -p -d abc > abc.sql
二、导入数据库1、首先建空数据库mysql>create database abc;2、导入数据库方法一:(1)选择数据库mysql>use abc;(2)设置数据库编码mysql>set names utf8;(3)导入数据(注意sql文件的路径)mysql>source /home/abc/abc.sql;方法二:mysql -u用户名 -p 数据库名 < 数据库名.sql#mysql -uabc_f -p abc < abc.sql注意:有命令行模式,有sql命令
SQL Server数据转换服务的四个妙用
在企业中,各种数据分布于各个场合中。如在企业采用SQL Server数据库之前,可能采用了Excle或者MY SQL等数据库。他们的格式不同,存储的位置也不同。但是,管理者在决策的时候,可能需要用到各方面的数据。此时,用户就会遇到一个问题,如何把这些不同格式、不同地理位置的数据集中起来进行分析呢?为了解决这个难题,SQL Server数据库中提出了一种叫做DTS(数据转换)的服务。通过这个工具,使得数据库管理员可以将来自不同的源的数据(不同格式)提取、转换甚至合并到某个特定的目的(如SQL Server数据库),以满足统计分析的需要。
可以说,数据转换服务所提供的一组工具能够帮助数据库管理员解决数据库起初数据导入、数据合并分析等方面的问题。具体的来说,它有如下四个妙用。
一、导入导出数据。
企业在部署信息化项目的时候,比较头痛的一个问题就是基础数据导入的问题。现在大部分企业在实施信息化项目,如ERP项目时,都一定有一定的信息化水平。最简单的来说,至少可能已经用Excle等办公软件来记录一些信息,如产品信息或者客户基本信息等。那么,在他们部署ERP系统的时候,若让企业员工再一条条的把信息输入进去,就会增加许多额外的工作量。据笔者了解,很多企业都是在原有资料的基础上,进行稍加修饰,如去掉一些不用的内容或者修改一些不准确的信息后,直接导入到数据库中。
但是,在导入的过程中,由于格式不兼容或者其他问题,往往会导致导入的失败。而利用普通的工具,如SQL Server自带的导入工具,无法记录这些错误信息。利用这些工具在导入数据的时候,若遇到一条错误就会终止导入进程。如此数据库管理员需要重新检查数据源(有时数据库还不会提示哪条记录出现了问题)。这么导入数据的效率是非常低下的。
而数据转换服务能够帮助我们解决这个问题。如数据转换服务可以把文本格式的数据或者Excel文件中的数据导入到SQL Server数据库中。最重要的是,如果这个原始的数据源中某条记录有问题的话,不会中断整个导入进程。在导入结束后,数据转换服务会生成一份报告。在这份报告中,会详细记录哪些记录没有成功导入以及可能遇到的问题。如果记录少的话,数据库管理员只需要手工录入即可;而数据多的话,数据库管理员也可以分批导入数据,也把符合要求的记录导入进去;然后再根据导入报告去修改那些不符合格式的记录。修改完成以后再继续导入剩余的数据。
很明显,通过这个数据转换工具,导入不同格式的记录,会便利许多。与此同时,数据转换服务还可以把SQL Server数据库中的内容导出到一些特定的对象中,如Excel表格中。
所以,数据转换服务的导入导出数据功能,在一些大量数据的导入导出以及不同格式的数据源之间进行对导,具有很大的用途。如数据转换服务可以将大容量的文本文件格式的记录高速导入到SQL Server数据库中,等等。
二、利用数据转换规范导入数据的格式。
数据转换服务允许数据库管理员在数据导入到SQLServer数据库中,在对原始数据没有进行更改的情况下,对需要导入的数据进行一些格式方面的调整或者利用一些函数进行操作。如现在数据库管理员需要从一份Excle表格中导入数据,但是在Excle表格中有一列商品编号,其是字符型数据。可是在SQL Server数据库中,则要求为整数型数据。若没有数据转换工具帮忙的话,则数据库管理员需要先在Excel表格中进行格式转换,然后再把转换后的数据导入到SQL Server数据库中。而如果利用数据转换服务导入数据的话,则在导入的过程中,就可以利用函数进行数据类型的转换,而不用修改原始的数据源。
笔者再谈一个自己遇到真实案例。一次笔者在给一个客户导入基础资料的时候,遇到了这一种情况。他们在使用SQL Server数据库之前,采用的是ACCESS数据库。在这个数据库中有一个产品基本信息表,包含产品关键字、产品分类等等。当需要把这个数据库中的内容导入到SQL Server中时,要根据产分类的不同,给产品编号加入不同的前缀。如产品为成品的,则在产品编号前加入P;如果产品为包装材料的,则在原有的产品编号前加入B;若产品的类别为零件的,则加入M等等。此时,笔者就没有对原始的数据源进行更改。而是利用DTS服务在把数据导入到SQL Server数据库之前,利用相关的函数,如字符型数据合并等函数,进行一些格式的调整。所以,数据转换服务的一个好处,就是在不用更改原始数据源的情况下,就可以规范需要导入的数据格式。这在异构数据源相互导入中,非常有用。
笔者另外一个同事也遇到过类似的问题。如他在给用户导入库存表的时候,也要进行一些数据转换。当库存数量大于等于0的时候,则导入的数值就是原来的库存数量。如果原始数据库库存数量小于0的时候,则导入的库存数量就为0。笔者同事在导入的过程中,就简单的编写了一个ActiveX脚本来实现这个需求。在这个脚本中,可以利用IF等函数来进行数据转换,因为这些函数可以应用到专门的转换或者包含条件逻辑。从而可以把记录根据不同的条件逻辑转换为合适的数据或者格式。
所以,在导入数据过程中,如果要对一些数据进行格式或者其他方面的转换,笔者就建议大家采用DTS来转换数据,并导入到数据库中。
三、导入过程中复制数据库对象。
若直接利用ODBC等工具把其他SQLServer数据库中的数据导入到SQLServer数据库中,只能够导入数据,而无法复制数据库表上的对象,如约束、索引、主键等等。而且,对于视图、存储过程、默认值等基于基础表的数据库对象也无法导入进去。
在SQL Server数据库中,数据库管理员可以通过数据库对象复制任务,将对象从数据库的一个实例复制到另外一个。可以传输基本对象,也可以复制某些对象的定义。如果选择了某个对象,则复制对象任务将会自动复制任何相关联的对象,如表湖或者视图等的功能。前提是这些被复制的对象在选定的对象上有外键约束。
但是,利用DTS服务在导入数据的同时,还可以复制数据库对象,可以传输诸如视图、存储过程、触发器、规则、默认值以及用户自定义的数据类型。这是ODBC等数据导入工具所无法实现的功能。若所要复制的数据库对象比较多,数据库管理员还可以通过脚本来复制这些数据库对象。
复制数据库对象在实际工作中很有作用,可以保障数据导入的一致性与完整性。如现在数据库管理员要从其他数据库导入客户信息表。而客户信息表中需要引用联系人信息表与地址信息表两个表。也就是说,客户信息表中有两个字段是这两个表的外键。那么通过复制对象作业,只要复制了这张客户信息表,则数据库会自动复制与其相关的表或者其他数据库对象。而不用数据库管理员再手工的去导入其他相关联的数据。
四、执行一些自动化的操作。
在数据库管理中,数据库管理员很希望数据库能够自动收集信息并将信息发送到用户指定的地点如邮件等等。在数据转换任务中,就提供了一系列类似的工具,来简化数据库管理员的工作。如在DTS组套种,有一个发送邮件的工具。 通过相关的设置,数据库会在包成功或者失败的时候自动发送一个电子邮件给数据库管理员,以提醒他作业是成功还是失败。并且会附上比较详细的信息,以便于数据库管理员进行后续的操作。
数据转换功能中,还包含了一个执行包任务,是的一个包运行另一个作为包步骤。这可以让我们的工作更加的自动化。如在数据库导入过程中,我们可以通过包运行计划,把需要导入的数据表一步步按顺序写入执行包计划中。而让数据库在比较空闲的时候,自动按序导入数据。而数据库管理员不用在旁边指挥。
可见,数据转换服务是功能很强的一项服务。在数据导入与转换的过程中,笔者首推这个工具。特别是在数据量比较大的情况下,这个数据转换服务确实能够起到画龙点睛的作用。
mysql导入导出sql文件
window下
1.导出整个数据库
mysqldump -u 用户名 -p 数据库名 > 导出的文件名
mysqldump -u dbuser -p dbname > dbname.sql
2.导出一个表
mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名
mysqldump -u dbuser -p dbname users> dbname_users.sql
3.导出一个数据库结构
mysqldump -u dbuser -p -d --add-drop-table dbname
>d:/dbname_db.sql
-d 没有数据 --add-drop-table 在每个create语句之前增加一个drop table
4.导入数据库
常用source 命令
进入mysql数据库控制台,如
mysql -u root -p
mysql>use 数据库
然后使用source命令,后面参数为脚本文件(如这里用到的.sql)
mysql>source d:/dbname.sql
1.
导入数据到数据库
mysql -uroot
-D数据库名
1.
导入数据到数据库中得某个表
mysql -uroot -D数据库名
表名
D:\APMServ5.2.6\MySQL5.1\bin>mysqldump -u root
-p erp lightinthebox_tags > ligh
tinthebox.sql
linux下
一、导出数据库用mysqldump命令(注意mysql的安装路径,即此命令的路径):
1、导出数据和表结构:
mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql
敲回车后会提示输入密码
2、只导出表结构
mysqldump -u用户名 -p密码 -d 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/ mysqldump -uroot -p -d abc > abc.sql
注:/usr/local/mysql/bin/ ---> mysql的data目录
二、导入数据库
1、首先建空数据库
mysql>create database abc;
2、导入数据库
方法一:
(1)选择数据库
mysql>use abc;
(2)设置数据库编码
mysql>set names utf8;
(3)导入数据(注意sql文件的路径)
mysql>source /home/abc/abc.sql;
方法二:
mysql -u用户名 -p密码 数据库名 < 数据库名.sql
#mysql -uabc_f -p abc < abc.sql
PL/SQLDeveloper导入导出Oracle数据库方法
前一篇博客介绍了Navicat工具备份Oracle的方法,这篇博客介绍一下使用PL/SQL Developer工具导入导出Oracle数据库的方法。
PL/SQL Developer是Oracle数据库用于导入导出数据库的主要工具之一,本文主要介绍利用PL/SQL导入导出Oracle数据库的过程。
1.Oracle数据库导出步骤
1.1 Tools→Export User Objects...选项,导出.sql文件。
说明:此步骤导出的是建表语句(包括存储结构)。
1.2 Tools→Export Tables...导出表结构及数据
PL/SQL工具包含三种方式导出Oracle表结构及数据,三种方式分别为:Oracle Export 、SQL Inserts、PL/SQL Developer,下面分别简单介绍下区别:
第一种方式导出.dmp格式的文件,.dmp是二进制文件,可跨平台,还能包含权限,效率不错,用的最为广泛。
<
SQL AZURE数据导入导出,云计算体验之四
SQL AZURE数据导入导出
我们在之前的文章中为大家介绍了如何在SQL AZURE上创建数据库及管理数据库,从之前的介绍中我们可以看出,SQL AZURE是完全可以满足小型企业的数据库业务需求的。小型企业选择把数据存储在云端之后,当业务逐步扩大,数据逐渐增多之后,企业也可以考虑把云端的数据迁移回本地的数据库服务器进行管理,SQL AZURE支持数据在本地和云端的灵活迁移,本文中我们将为大家介绍如何把SQL AZURE上的数据迁移到本地的数据库服务器上。
首先我们启动SSMS,如图1所示,在本地的数据库服务器上创建一个数据库,用于存储从云端数据库导入的数据。
图1
如图2所示,我们在本地创建了一个名为TEST的数据库。
图2
在SSMS中右键点击本地的TEST数据库,如图3所示,在任务中选择“导入数据”。
图3
如图4所示,出现SQL Server的数据导入向导,点击“下一步”继续。
图4
如图5所示,我们要填写数据源的相关参数,首先我们要在安全标签下填写User ID和Password参数,显然连接到SQL AZURE要使用SQL Server身份验证。
图5
如图6所示,接下来我们还要在数据源参数的来源标签下填写Data Source和Initial Catalog参数。Data Source处填写SQL虚拟服务器的域名,Initial Catalog处填写云端的数据库名称。
图6
如图7所示,设置完数据源后我们接下来要设置导入目标,目标参数很容易设置,我们设置导入到本地数据库服务器的TEST数据库中即可。
图7
如图8所示,我们选择“复制一个或多个表或视图的数据”。
图8
如图9所示,我们要选择从SQL AZURE的数据库中导入哪些表,我们选择导入的是student表。
图9
如图10所示,我们选择“立即运行”。
图10
如图11所示,数据导入任务执行成功。
图11
数据导入到本地数据库服务器后,如图12所示,我们在本地数据库服务器的TEST数据库中执行查询。从查询结果来看,student表确实已经从SQL AZURE数据库成功地导入到本地数据库中了。
图12
本文转自yuelei51CTO博客,原文链接:http://blog.51cto.com/yuelei/387718,如需转载请自行联系原作者
mysql导入导出sql文件
window下
1.导出整个数据库
mysqldump -u 用户名 -p 数据库名 > 导出的文件名
mysqldump -u dbuser -p dbname > dbname.sql
2.导出一个表
mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名
mysqldump -u dbuser -p dbname users> dbname_users.sql
3.导出一个数据库结构
mysqldump -u dbuser -p -d --add-drop-table dbname >d:/dbname_db.sql
-d 没有数据 --add-drop-table 在每个create语句之前增加一个drop table
4.导入数据库
常用source 命令
进入mysql数据库控制台,如
mysql -u root -p
mysql>use 数据库
然后使用source命令,后面参数为脚本文件(如这里用到的.sql)
mysql>source d:/dbname.sql
1. 导入数据到数据库
mysql -uroot -D数据库名
1. 导入数据到数据库中得某个表
mysql -uroot -D数据库名 表名
D:\APMServ5.2.6\MySQL5.1\bin>mysqldump -u root -p erp lightinthebox_tags > ligh
tinthebox.sql
linux下
一、导出数据库用mysqldump命令(注意mysql的安装路径,即此命令的路径):
1、导出数据和表结构:
mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql
敲回车后会提示输入密码
2、只导出表结构
mysqldump -u用户名 -p密码 -d 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/ mysqldump -uroot -p -d abc > abc.sql
注:/usr/local/mysql/bin/ ---> mysql的data目录
二、导入数据库
1、首先建空数据库
mysql>create database abc;
2、导入数据库
方法一:
(1)选择数据库
mysql>use abc;
(2)设置数据库编码
mysql>set names utf8;
(3)导入数据(注意sql文件的路径)
mysql>source /home/abc/abc.sql;
方法二:
mysql -u用户名 -p密码 数据库名 < 数据库名.sql
#mysql -uabc_f -p abc < abc.sql
分类: mysql
本文转自快乐就好博客园博客,原文链接:http://www.cnblogs.com/happyday56/p/6495249.html,如需转载请自行联系原作者
mysql导入和导出数据
Linux下如何单个库进行导入和备份操作
1、将数据导入数据库mysql -u账号 -p密码 数据库<sql脚本
mysql -uroot -proot test</home/upload/test20120325.sql
2、对数据库数据进行备份
mysqldump -u账号 -p密码 数据库 | gzip >脚本路径
mysqldump -uroot -proot test| gzip >/data/htmlbak/test_db_$(date +%Y%m%d).sql.gz
windows下如何单个库进行导入和备份操作
1、导入数据库和Linux的一样,只是sql脚本路径不同
2、windows下做导出的时候无法直接压缩,需要用到WinRar来进行压缩
mysqldump -u 数据库用户名 -p 数据库名称 > 导出的数据库文件
"C:\Program Files\WinRAR\WinRAR.exe" a -r -ep2 -ibck -inul -df -t 压缩包名称.rar 压缩文件夹\
mysqldump -uroot -proot test>d:\mysqlbak\test.sql
"C:\Program Files\WinRAR\WinRAR.exe" a -r -ep2 -ibck -inul -df -t d:\test.rar d:\mysqlbak\
如果涉及到定时任务计划,定时删除备份文件等可以参考:linux自动定时备份web程序和mysql数据库和windows下如何对mysql进行整裤备份
如何用Navicat备份还原Mysql数据库
Navicat for MySQL数据库备份还原简要教程
一、下载 Navicat 9 Lite(服务器已经有装的,就不要安装了)
二、打开Navicat---连接---Mysql
三、填写数据库连接信息
四、导出数据库文件
双击打开创建的连接---选择您的数据库---右键点击---选择"转储SQL文件",即可将数据库导入成.sql文件
五、 导入数据库文件 1)双击打开创建的连接---选择您的数据库---右键点击---选择"运行SQL文件"
2)选择您的数据库备份文件以及备份文件的编码,默认选择的编码为65001
(UTF-8)。如果导入失败,可以删除失败的表,尝试选择936( Simplified Chinese GBK ) 再次导入
3)如果进度条显示完成,并且没有提示错误,则成功导入。点击"表",按F5刷新后即可看到导入后的内容。
mysql 数据库导入\导出(总结备忘)
数据库的基本导入\导出的命令 是 mysqldump 和 source
在linux下直接用命令行操作就可以 在windows下 一般情况下有两种方法一个也是用命令行 另一个是用phpmyadmin
先来说说phpmyadmin 这个工具导出和导入很简单 而且导入时无需建库 直接还原成原来的数据库 用source 也可以还原 但他导入文件时有大小限制不能超过2M
再来说说 mysqldump 和 source
用命令操作很快 但是想把导出的文件再导入时必须先建立一个数据库(这个库可以随便起名) 然后进入数据库后才能导入用phpmyadmin导入mysqldump 导出的文件也得需要这步
下面是从前辈那copy来的命令具体使用方法
1.导出整个数据库
mysqldump -u 用户名 -p 数据库名 > 导出的文件名
mysqldump -u wcnc -p smgp_apps_wcnc > wcnc.sql
2.导出一个表
mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名
mysqldump -u wcnc -p smgp_apps_wcnc users> wcnc_users.sql
3.导出一个数据库结构
mysqldump -u wcnc -p -d --add-drop-table smgp_apps_wcnc >d:wcnc_db.sql
-d 没有数据 --add-drop-table 在每个create语句之前增加一个drop table
备忘: mysqldump在linux下可直接使用 在windows下有时需要进入mysql/bin中使用 因为有时用的是类似appserv的套装软件 这样的话命令就不能直接使用 因为这些命令没在环境变量的目录里 而且用mysqldump导出的备份 必须先建立数据库才能导入
4.导入数据库
常用source 命令
进入mysql数据库控制台,
如mysql -u root -p
mysql>use 数据库
然后使用source命令,后面参数为脚本文件(如这里用到的.sql)
mysql>source d:wcnc_db.sql
linux下导入、导出mysql数据库命令
一、导出数据库用mysqldump命令(注意mysql的安装路径,即此命令的路径):
1、导出数据和表结构:
mysqldump -u用户名 -p密码 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql
敲回车后会提示输入密码
2、只导出表结构
mysqldump -u用户名 -p密码 -d 数据库名 > 数据库名.sql
#/usr/local/mysql/bin/ mysqldump -uroot -p -d abc > abc.sql
注:/usr/local/mysql/bin/ ---> mysql的data目录
二、导入数据库
1、首先建空数据库
mysql>create database abc;
2、导入数据库
方法一:
(1)选择数据库
mysql>use abc;
(2)设置数据库编码
mysql>set names utf8;
(3)导入数据(注意sql文件的路径)
mysql>source /home/abc/abc.sql;
方法二:
mysql -u用户名 -p密码 数据库名 < 数据库名.sql
#mysql -uabc_f -p abc < abc.sql
建议使用第二种方法导入。
注意:有命令行模式,有sql命令
存疑: phpmyadmin导入有大小限制 不知道source导入时有没限制 而且导出时是不可以限制文件大小 并且分数个文件导出
drop命令用于删除数据库。
drop命令格式:drop database <数据库名>;
例如,删除名为 xhkdb的数据库:
mysql> drop database xhkdb;
[例子1] 删除一个已经确定存在的数据库:
mysql> drop database drop_database;
Query OK, 0 rows affected (0.00 sec)
[例子2] 删除一个不确定存在的数据库:
mysql> drop database drop_database;
ERROR 1008 (HY000): Can't drop database 'drop_database'; database doesn't exist
// 发生错误,不能删除'drop_database'数据库,该数据库不存在。
mysql> drop database if exists drop_database;
Query OK, 0 rows affected, 1 warning (0.00 sec)
//产生一个警告说明此数据库不存在
mysql> create database drop_database; // 创建一个数据库
Query OK, 1 row affected (0.00 sec)
mysql> drop database if exists drop_database; // if exists 判断数据库是否存在,不存在也不产生错误
Query OK, 0 rows affected (0.00 sec)