开发者社区> 技术小美> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

使用bcp进行大数据量导出导入

简介:
+关注继续查看

 SQL Server的导出导入方式有:在SQL Server中提供了导入导出的界面操作。

--还没有解决的问题 
--1:使用BCP命令时如果导出的字段为空想替换为其它描述(比如替换成NULL)如何办?
--2:使用 case when 时就会出现1023字节的问题,那有没其它办法解决呢?
--3:使用BCP命令导出大数据量时出现错误:查询提示超过了最大目录缓冲区 1023 字节(2164 字节输入)。
--备注
--1:已经使用了Coalesce代替case when,但是还是超出字符数了。
--2:对以网上说的放到Temp数据库中、中间表,这些?但是数据表几十G了,还能这样?

--整个表导出(out)
bcp 数据库名.dbo.表名 out c:\currency.txt -S"数据库实例" -U"用户" -P"密码" -

--使用SQL语句导出(queryout)
bcp "select * from 数据库名.dbo.表名" queryout c:\currency.txt -S 数据库实例 -U"用户" -P"密码" -c

--设置字段分隔符和行分隔符(-c -t"," -r"\n"),不想输入字段类型等请配合-c一起使用
bcp "select * from 数据库名.dbo.表名" queryout c:\currency.txt -S 数据库实例 -U"用户" -P"密码" --t"," -r"\n"

--指定每批导入数据的行数、指定服务器发出或接收的每个网络数据包的字节数(-k -b5000 -a65535)
bcp "select * from 数据库名.dbo.表名" queryout c:\currency.txt -S 数据库实例 -U"用户" -P"密码" --t"," -r"\n" --b5000 -a65535

--在查询分析器上执行(EXEC master..xp_cmdshell)
EXEC master..xp_cmdshell 'bcp "select * from 数据库名.dbo.表名" queryout c:\currency.txt -S 数据库实例 -U"用户" -P"密码" -c'

--把SQL语句生成一个.sql文件,然后调用
--注:路径的文件夹名称中间不能有空格
exec master..xp_cmdshell 'osql -S 数据库实例 -U 用户 -P 密码 -i     C:\cmdshellTest.sql'  

--将数据导入到currency表中
EXEC master..xp_cmdshell 'bcp 数据库名.dbo.表名 in c:\currency.txt -c -T'
--导入数据也同样可以使用-F和-L选项来选择导入数据的记录行。
EXEC master..xp_cmdshell 'bcp 数据库名.dbo.表名 in c:\currency.txt -c -F 10 -L 13 -T'

 

在使用命令xp_cmdshell的时候需要设置权限:

/*MSsql2005 如何启用xp_cmdshell
默认情况下,sql server2005安装完后,xp_cmdshell是禁用的(可能是安全考虑),如果要使用它,可按以下步骤
*/
-- 允许配置高级选项
EXEC sp_configure 'show advanced options'1
GO
-- 重新配置
RECONFIGURE
GO
-- 启用xp_cmdshell
EXEC sp_configure 'xp_cmdshell'1
GO
--重新配置
RECONFIGURE
GO

--执行想要的xp_cmdshell语句
Exec xp_cmdshell 'query user'
GO

--用完后,要记得将xp_cmdshell禁用(出于安全考虑)
--
 允许配置高级选项
EXEC sp_configure 'show advanced options'1
GO
-- 重新配置
RECONFIGURE
GO
-- 禁用xp_cmdshell
EXEC sp_configure 'xp_cmdshell'0
GO
--重新配置
RECONFIGURE
GO

或者使用图形界面:

 

 

参考文献

bcp 实用工具

在大容量导入期 间保留空值或使用默认值

使用格式化文件跳过表列

sql server的BCP导入导出










本文转hackfreer51CTO博客,原文链接:http://blog.51cto.com/pnig0s1992/478783,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Msql 导出导入数据库
导出数据库mysqldump eatfun_only -uroot -p123456 > eatfun_only.sql mysqldump eatfun_new -ureadonly -h127.0.
892 0
数据泵避免个别表数据的导出
对于数据泵EXPDP/IMPDP而言,功能比普通EXP/IMP功能要强的多,因此也可以实现一些普通导出导入工具很难完成的工作。     比如今天碰到的这个问题,要导出一些表,但是其中个别表只导出结构而不导出数据。
711 0
将MYSQL查询导出到文件
sql文件: set names utf8; select * from xxxxx   mysql命令: mysql -h xxxx -uxxxx -p 4.txt
563 0
sqlldr批量导入导出数据测试
sqlldr是在处理大数据量的操作中建议采用的方式,它有许多性能想关的开关,能最大程度的减少redo,undo的生成,控制数据的处理方式(insert,append,replace,truncate) 因为项目需要,对比datapump性能还是不理想,所以还是希望采用sqlldr来做。
789 0
【导出导入】% 在导入导出中的应用。
由于业务需求要导出前缀为mock_的很多表,如果一个一个列出的话,势必很麻烦,这里测试了一下 % 的用法。具体测试如下:=搭建环境:yang@ORACL> create table mock_loan as select * from user_objects;表已创建。
412 0
SQL Server数据库重命名、数据导出等若干问题
第一个问题是重命名数据库问题:在企业管理器中是无法直接对数据库重命名的,只能在查询分析器中操作   create proc killspid (@dbname varchar(20))         as         begin         declare     @sql     n...
585 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
大批量处理excel文件到ODPS中方案
立即下载
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载