《PowerShell V3——SQL Server 2012数据库自动化运维权威指南》——2.19 使用bcp实施批量导出

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
简介:

本节书摘来自异步社区出版社《PowerShell V3—SQL Server 2012数据库自动化运维权威指南》一书中的第2章,第2.19节,作者:【加拿大】Donabel Santos,更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.19 使用bcp实施批量导出

本方案描述了如何用PowerShell和bcp将表内容导出到CSV文件。

2.19.1 准备

确保您可以访问AdventureWorks2008R2数据库。我们将Person.Person表导出到一个时间戳标记的文本文件中,通过管道符号(|)分割。

创建C:TempExports目录,如果还没有在你的系统中创建。

2.19.2 如何做…

1.通过“Start | Accessories | Windows PowerShell | Windows PowerShell ISE”打开PowerShell控制台。

2.添加如下脚本,并运行。

$server = "KERRIGAN"
$table = "AdventureWorks2008R2.Person.Person"
$curdate = Get-Date -Format "yyyy-MM-dd_hmmtt"
$foldername = "C:\Temp\Exports\"
#format file name
$formatfilename = "$($table)_$($curdate).fmt"
#export file name
$exportfilename = "$($table)_$($curdate).csv"
$destination_exportfilename = "$($foldername)$($exportfilename)"
$destination_formatfilename = "$($foldername)$($formatfilename)"
#command to generate format file
$cmdformatfile = "bcp $table format nul -T -c -t `"|`" -r `"\n`" 
-f `"$($destination_formatfilename)`" -S$($server)"
#command to generate the export file
$cmdexport = "bcp $($table) out `"$($destination_exportfilename)`" 
-S$($server) -T -f `"$destination_formatfilename`""
<#
$cmdformatfile gives you something like this:
bcp AdventureWorks2008R2.Person.Person format nul -T -c -t "|" -r "\n" –f
"C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt" –S
KERRIGAN 
$cmdexport gives you something like this:
bcp AdventureWorks2008R2.Person.Person out
"C:\Temp\Exports\AdventureWorks20008R2.Person.Person_2011-12-27_913PM.csv" –S
KERRIGAN -T -c –f
"C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt"
#>
#run the format file command
Invoke-Expression $cmdformatfile
#delay 1 sec, give server some time to generate the format file
#sleep helps us avoid race conditions
Start-Sleep -s 1
#run the export command
Invoke-Expression $cmdexport 
#check the folder for generated file
explorer.exe $foldername

2.19.3 如何实现…

使用SQL Server的bcp命令从SQL Server导出记录可能更快。它的应用更广泛,因为bcp提供了更可扩展的导出格式。

bcp的默认导出格式是使用跳格键(t)作为域分割符,使用回车换行(rn)作为换行分隔符。如果你想修改,需要创建并使用一个格式化文件来指定你想导出的格式。

在我们的方案中,我们首先用时间戳命名格式化文件和导出的文件。

$curdate = Get-Date -Format "yyyy-MM-dd_hmmtt"
$foldername = "C:\Temp\Exports\"
#format file name
$formatfilename = "$($table)_$($curdate).fmt"
#export file name
$exportfilename = "$($table)_$($curdate).csv"
$destination_exportfilename = "$($foldername)$($exportfilename)"
$destination_formatfilename = "$($foldername)$($formatfilename)"

然后,我们创建产生格式化文件的字符串。

#command to generate format file
$cmdformatfile = "bcp $table format nul -T -c -t `"|`" -r `"\n`" 
-f `"$($destination_formatfilename)`" -S$($server)"

注意,因为实际的命令需要使用双引号(”),当我们创建命令时,需要通过反引号(`)转义双引号。

创建的命令如下所示。

bcp AdventureWorks2008R2.Person.Person format nul -T -c -t "|" -r 
"\n" -f "C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt"
-SKERRIGAN

我们使用刚刚创建的格式化文件创建了导出记录的命令。

#command to generate the export file
$cmdexport = "bcp $($table) out `"$($destination_exportfilename)`" 
-S$($server) -T -f `"$destination_formatfilename`""

我们创建的命令如下。

bcp AdventureWorks2008R2.Person.Person out
"C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.csv" -SKERRIGAN 
-T -f "C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt"

当包含命令的字符串完成之后,我们能使用Invoke-Expression cmdlet执行这个命令。我们首先运行格式化文件创建命令,然后使用Start-Sleep cmdlet停止1秒钟,确保已经创建了格式化文件,然后调用命令进行真正的导出工作。

#run the format file command
Invoke-Expression $cmdformatfile
#delay 1 sec, give server some time to generate 
#the format file
#sleep helps us avoid race conditions
Start-Sleep -s 1
#run the export command
Invoke-Expression $cmdexport

如果我们不等待,所有的命令有可能执行得更快,并且导出命令有可能在格式化文件产生好之前执行。这将导致错误,因为bcp命令不能发现格式化文件。

最后,我们打开“Windows Explorer”,可以看到生成的文件。

#check the folder for generated file
explorer.exe $foldername

2.19.4 请参阅…

使用Invoke-Sqlcmd实施批量导出方案
更多关于bcp格式化文件的选项可参见:

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS&nbsp;SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/sqlserver
相关文章
|
1月前
|
测试技术 Python
Python接口自动化测试中Mock服务的实施。
总结一下,Mock服务在接口自动化测试中的应用,可以让我们拥有更高的灵活度。而Python的 `unittest.mock`库为我们提供强大的支持。只要我们正确使用Mock服务,那么在任何情况下,无论是接口是否可用,都可以进行准确有效的测试。这样,就大大提高了自动化测试的稳定性和可靠性。
51 0
|
4月前
|
数据库 数据安全/隐私保护
【YashanDB知识库】exp 导出数据库时,报错YAS-00402
【YashanDB知识库】exp 导出数据库时,报错YAS-00402
【YashanDB知识库】exp 导出数据库时,报错YAS-00402
|
9月前
|
监控 安全 测试技术
在实施自动化和持续集成的过程中,如何确保代码的安全性和合规性
在实施自动化和持续集成的过程中,如何确保代码的安全性和合规性
117 1
|
5月前
|
关系型数据库 数据库连接 数据库
循序渐进丨MogDB 中 gs_dump 数据库导出工具源码概览
通过这种循序渐进的方式,您可以深入理解 `gs_dump` 的实现,并根据需要进行定制和优化。这不仅有助于提升数据库管理的效率,还能为数据迁移和备份提供可靠的保障。
126 6
|
5月前
|
数据库 数据安全/隐私保护
【YashanDB 知识库】exp 导出数据库时,报错 YAS-00402
**简介:** 在执行数据导出命令 `exp --csv -f csv -u sales -p sales -T area -O sales` 时,出现 YAS-00402 错误,提示“Connection refused”。原因是数据库安装时定义的 IP 地址或未正确配置导致连接失败。解决方法是添加 `--server-host ip:port` 参数,例如 `exp --csv -f csv -u sales -p sales -T area -O sales --server-host 192.168.33.167:1688`。
|
7月前
|
关系型数据库 MySQL Linux
Linux下mysql数据库的导入与导出以及查看端口
本文详细介绍了在Linux下如何导入和导出MySQL数据库,以及查看MySQL运行端口的方法。通过这些操作,用户可以轻松进行数据库的备份与恢复,以及确认MySQL服务的运行状态和端口。掌握这些技能,对于日常数据库管理和维护非常重要。
287 8
|
8月前
|
运维 监控 关系型数据库
数据库管理中的自动化运维:挑战与解决方案
数据库管理中的自动化运维:挑战与解决方案
|
7月前
|
监控 测试技术 定位技术
探索软件测试中的自动化测试框架选择与实施###
本文不概述传统意义上的摘要内容,而是直接以一段对话形式引入,旨在激发读者兴趣。想象一下,你是一名勇敢的探险家,面前摆满了各式各样的自动化测试工具地图,每张地图都指向未知的宝藏——高效、精准的软件测试领域。我们将一起踏上这段旅程,探讨如何根据项目特性选择合适的自动化测试框架,并分享实施过程中的关键步骤与避坑指南。 ###
113 4
|
8月前
|
监控 安全 测试技术
在实施自动化和持续集成的过程中,如何确保代码的安全性和合规性
在自动化和持续集成中,确保代码安全与合规至关重要。措施包括集成自动化安全工具、执行自动化合规检查、进行代码质量与安全检测、评估开源代码安全、实施基础设施即代码的安全标准、采用多层防御策略、加强安全教育与文化建设、使用合规性检测工具及许可证合规分析等,共同提升代码安全性与合规水平。
103 5
|
8月前
|
监控 安全 测试技术
在实施自动化和持续集成的过程中,如何确保代码的安全性和合规性?
在实施自动化和持续集成的过程中,如何确保代码的安全性和合规性?
102 6

热门文章

最新文章