《PowerShell V3——SQL Server 2012数据库自动化运维权威指南》——2.19 使用bcp实施批量导出

简介:

本节书摘来自异步社区出版社《PowerShell V3—SQL Server 2012数据库自动化运维权威指南》一书中的第2章,第2.19节,作者:【加拿大】Donabel Santos,更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.19 使用bcp实施批量导出

本方案描述了如何用PowerShell和bcp将表内容导出到CSV文件。

2.19.1 准备

确保您可以访问AdventureWorks2008R2数据库。我们将Person.Person表导出到一个时间戳标记的文本文件中,通过管道符号(|)分割。

创建C:TempExports目录,如果还没有在你的系统中创建。

2.19.2 如何做…

1.通过“Start | Accessories | Windows PowerShell | Windows PowerShell ISE”打开PowerShell控制台。

2.添加如下脚本,并运行。

$server = "KERRIGAN"
$table = "AdventureWorks2008R2.Person.Person"
$curdate = Get-Date -Format "yyyy-MM-dd_hmmtt"
$foldername = "C:\Temp\Exports\"
#format file name
$formatfilename = "$($table)_$($curdate).fmt"
#export file name
$exportfilename = "$($table)_$($curdate).csv"
$destination_exportfilename = "$($foldername)$($exportfilename)"
$destination_formatfilename = "$($foldername)$($formatfilename)"
#command to generate format file
$cmdformatfile = "bcp $table format nul -T -c -t `"|`" -r `"\n`" 
-f `"$($destination_formatfilename)`" -S$($server)"
#command to generate the export file
$cmdexport = "bcp $($table) out `"$($destination_exportfilename)`" 
-S$($server) -T -f `"$destination_formatfilename`""
<#
$cmdformatfile gives you something like this:
bcp AdventureWorks2008R2.Person.Person format nul -T -c -t "|" -r "\n" –f
"C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt" –S
KERRIGAN 
$cmdexport gives you something like this:
bcp AdventureWorks2008R2.Person.Person out
"C:\Temp\Exports\AdventureWorks20008R2.Person.Person_2011-12-27_913PM.csv" –S
KERRIGAN -T -c –f
"C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt"
#>
#run the format file command
Invoke-Expression $cmdformatfile
#delay 1 sec, give server some time to generate the format file
#sleep helps us avoid race conditions
Start-Sleep -s 1
#run the export command
Invoke-Expression $cmdexport 
#check the folder for generated file
explorer.exe $foldername

2.19.3 如何实现…

使用SQL Server的bcp命令从SQL Server导出记录可能更快。它的应用更广泛,因为bcp提供了更可扩展的导出格式。

bcp的默认导出格式是使用跳格键(t)作为域分割符,使用回车换行(rn)作为换行分隔符。如果你想修改,需要创建并使用一个格式化文件来指定你想导出的格式。

在我们的方案中,我们首先用时间戳命名格式化文件和导出的文件。

$curdate = Get-Date -Format "yyyy-MM-dd_hmmtt"
$foldername = "C:\Temp\Exports\"
#format file name
$formatfilename = "$($table)_$($curdate).fmt"
#export file name
$exportfilename = "$($table)_$($curdate).csv"
$destination_exportfilename = "$($foldername)$($exportfilename)"
$destination_formatfilename = "$($foldername)$($formatfilename)"

然后,我们创建产生格式化文件的字符串。

#command to generate format file
$cmdformatfile = "bcp $table format nul -T -c -t `"|`" -r `"\n`" 
-f `"$($destination_formatfilename)`" -S$($server)"

注意,因为实际的命令需要使用双引号(”),当我们创建命令时,需要通过反引号(`)转义双引号。

创建的命令如下所示。

bcp AdventureWorks2008R2.Person.Person format nul -T -c -t "|" -r 
"\n" -f "C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt"
-SKERRIGAN

我们使用刚刚创建的格式化文件创建了导出记录的命令。

#command to generate the export file
$cmdexport = "bcp $($table) out `"$($destination_exportfilename)`" 
-S$($server) -T -f `"$destination_formatfilename`""

我们创建的命令如下。

bcp AdventureWorks2008R2.Person.Person out
"C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.csv" -SKERRIGAN 
-T -f "C:\Temp\Exports\AdventureWorks2008R2.Person.Person_2011-12-27_913PM.fmt"

当包含命令的字符串完成之后,我们能使用Invoke-Expression cmdlet执行这个命令。我们首先运行格式化文件创建命令,然后使用Start-Sleep cmdlet停止1秒钟,确保已经创建了格式化文件,然后调用命令进行真正的导出工作。

#run the format file command
Invoke-Expression $cmdformatfile
#delay 1 sec, give server some time to generate 
#the format file
#sleep helps us avoid race conditions
Start-Sleep -s 1
#run the export command
Invoke-Expression $cmdexport

如果我们不等待,所有的命令有可能执行得更快,并且导出命令有可能在格式化文件产生好之前执行。这将导致错误,因为bcp命令不能发现格式化文件。

最后,我们打开“Windows Explorer”,可以看到生成的文件。

#check the folder for generated file
explorer.exe $foldername

2.19.4 请参阅…

使用Invoke-Sqlcmd实施批量导出方案
更多关于bcp格式化文件的选项可参见:

相关文章
|
8月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1335 152
|
8月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
968 156
|
12月前
|
SQL 存储 关系型数据库
第二篇:关系型数据库的核心概念与 SQL 基础
本篇内容深入浅出地讲解了关系型数据库的核心概念与SQL基础,适合有一定计算机基础的学习者。文章涵盖数据库的基本操作(CRUD)、数据类型、表的创建与管理等内容,并通过实例解析SELECT、INSERT、UPDATE、DELETE等语句的用法。此外,还推荐了多种学习资源与实践建议,帮助读者巩固知识。学完后,你将掌握基础数据库操作,为后续高级学习铺平道路。
713 1
|
11月前
|
SQL 关系型数据库 MySQL
Go语言数据库编程:使用 `database/sql` 与 MySQL/PostgreSQL
Go语言通过`database/sql`标准库提供统一数据库操作接口,支持MySQL、PostgreSQL等多种数据库。本文介绍了驱动安装、连接数据库、基本增删改查操作、预处理语句、事务处理及错误管理等内容,涵盖实际开发中常用的技巧与注意事项,适合快速掌握Go语言数据库编程基础。
1333 213
|
SQL 数据库 数据安全/隐私保护
数据库数据恢复——sql server数据库被加密的数据恢复案例
SQL server数据库数据故障: SQL server数据库被加密,无法使用。 数据库MDF、LDF、log日志文件名字被篡改。 数据库备份被加密,文件名字被篡改。
|
8月前
|
SQL 人工智能 Linux
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
659 5
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
|
7月前
|
SQL 存储 监控
SQL日志优化策略:提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
365 6
|
8月前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
8月前
|
SQL Oracle 关系型数据库
Oracle数据库创建表空间和索引的SQL语法示例
以上SQL语法提供了一种标准方式去组织Oracle数据库内部结构,并且通过合理使用可以显著改善查询速度及整体性能。需要注意,在实际应用过程当中应该根据具体业务需求、系统资源状况以及预期目标去合理规划并调整参数设置以达到最佳效果。
533 8
|
9月前
|
SQL 人工智能 Java
用 LangChain4j+Ollama 打造 Text-to-SQL AI Agent,数据库想问就问
本文介绍了如何利用AI技术简化SQL查询操作,让不懂技术的用户也能轻松从数据库中获取信息。通过本地部署PostgreSQL数据库和Ollama模型,结合Java代码,实现将自然语言问题自动转换为SQL查询,并将结果以易懂的方式呈现。整个流程简单直观,适合初学者动手实践,同时也展示了AI在数据查询中的潜力与局限。
1152 8

热门文章

最新文章