《PowerShell V3——SQL Server 2012数据库自动化运维权威指南》——2.20 使用BULK INSERT实施批量导入

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
简介:

本节书摘来自异步社区出版社《PowerShell V3—SQL Server 2012数据库自动化运维权威指南》一书中的第2章,第2.20节,作者:【加拿大】Donabel Santos,更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.20 使用BULK INSERT实施批量导入

本方案描述了如何用PowerShell和BULK INSERT将CSV文件导入SQL Server。

2.20.1 准备

为了做导入测试,我们首先需要创建一个Person表,类似于AdventureWorks2008R2数据库的Person.Person表,简单地修改一下。

我们将在Test架构下创建,并移除一些约束,保持表简单且独立。

为了创建本练习中需要的表,我们打开SSMS,运行如下代码。

CREATE SCHEMA [Test]
GO
CREATE TABLE [Test].[Person](
 [BusinessEntityID] [int] NOT NULL PRIMARY KEY,
 [PersonType] [nchar](2) NOT NULL,
 [NameStyle] [dbo].[NameStyle] NOT NULL,
 [Title] [nvarchar](8) NULL,
 [FirstName] [dbo].[Name] NOT NULL,
 [MiddleName] [dbo].[Name] NULL,
 [LastName] [dbo].[Name] NOT NULL,
 [Suffix] [nvarchar](10) NULL,
 [EmailPromotion] [int] NOT NULL,
 [AdditionalContactInfo] [xml] NULL,
 [Demographics] [xml] NULL,
 [rowguid] [uniqueidentifier] ROWGUIDCOL NOT NULL,
 [ModifiedDate] [datetime] NOT NULL
)
GO

在本方案中,我们将导入AdventureWorks2008R2.Person.Person.csv文件,Packt网站提供了可下载资源。保存在目录C:TempExports下。

或者,创建一个CSV文件,像在使用bcp实施批量导出方案中所提到的,替换文件名。

2.20.2 如何做…

1.通过“Start | Accessories | Windows PowerShell | Windows PowerShell ISE”打开PowerShell控制台。

2.首先添加一些辅助函数。输入如下并执行。

Import-Module SQLPS -DisableNameChecking
function Import-Person {
<# 
.SYNOPSIS 
   Very simple function to get number 
   of records in Test.Person 
.NOTES 
   Author   : Donabel Santos 
.LINK 
   http://www.sqlmusings.com
#> 
param([string]$instanceName,[string]$dbName)
$query = @"
TRUNCATE TABLE Test.Person
GO
BULK INSERT AdventureWorks2008R2.Test.Person
  FROM 'C:\Temp\Exports\AdventureWorks2008R2.Person.Person.csv'
  WITH 
    (
      FIELDTERMINATOR ='|',
      ROWTERMINATOR ='\n'
    )
SELECT COUNT(*) AS NumRecords
FROM AdventureWorks2008R2.Test.Person
"@;
#check number of records
Invoke-Sqlcmd -Query $query `
-ServerInstance "$instanceName" `
-Database $dbName
}

3.现在在同一个会话中调用该函数。

$instanceName = "KERRIGAN"
$dbName = "AdventureWorks2008R2"
Import-Person $instanceName $dbName

2.20.3 如何实现…

使用BULK INSERT命令,从CSV或文本文件中将记录导入到SQL Server表,需要创建BULK INSERT T-SQL语句,并使用Invoke-Sqlcmd执行以下语句。

Invoke-Sqlcmd -Query $query `
-ServerInstance "$instanceName" `
-Database $dbName

然而,我们的做法不同于之前的方案。在本方案中,我们首先创建了一个函数,将所有核心导入任务括起来。

创建函数时,我们首先需要创建函数头部。

function Import-Person {

函数头部以function开始,然后跟随着函数名,以动词-名词的形式。函数体通过一对大括号括起来。

在函数头部后面,创建了注释信息,对头部进行注释。

<# 
.SYNOPSIS 
   Very simple function to get number   of records in Test.Person 
.NOTES 
   Author   : Donabel Santos 
.LINK 
   http://www.sqlmusings.com
#>

在PowerShell中,块注释以<#开始,以#>结束。此外,这是一个特别类型的块注释,可以在Get-Help中显示函数的注释。现在我们输入:

Get-Help Import-Person

你得到的结果与从其他的cmdlet中获得的帮助类似。

image

在函数头部和注释后面是参数。Import-Person函数接受两个参数:instance name和database name。

param([string]$instanceName,[string]$dbName)

参数定义之后是函数定义。我们创建一个字符串,保存T-SQL语句。

$query = @"
TRUNCATE TABLE Test.Person
GO
BULK INSERT AdventureWorks2008R2.Test.Person
  FROM 'C:\Temp\Exports\AdventureWorks2008R2.Person.Person.csv'
  WITH 
    (
      FIELDTERMINATOR ='|',
      ROWTERMINATOR ='\n'
    )
SELECT COUNT(*) AS NumRecords
FROM AdventureWorks2008R2.Test.Person
"@;

在创建查询后,我们将其传递给Invoke-Sqlcmd cmdlet,让它在SQL Server实例中执行。

Invoke-Sqlcmd -Query $query `
-ServerInstance "$instanceName" `
-Database $dbName

在PowerShell中,函数默认是本地域范围,但是当通过ISE运行时,将保持一个全局域范围。在我们的方案中,一旦你运行第一部分含有函数定义的脚本,你可以在当前会话中的任何时候调用函数。我们可以看到该函数简化了导入记录,我们只需要明确实例名、数据库名和Import-Person函数。

$instanceName = "KERRIGAN"
$dbName = "AdventureWorks2008R2"
Import-Person $instanceName $dbName

如果你使用Shell,想要函数能在全局域范围内访问,保存该脚本为.ps1文件,并点号加载它。另一个方法是添加函数名和global。

function global:Import-Person {

2.20.4 请参阅…

执行查询语句/SQL脚本方案
使用bcp实施批量导入。

相关文章
|
3月前
|
SQL 机器学习/深度学习 人工智能
从“写SQL”到“聊数据”:NL2SQL如何用自然语言解锁数据库?
本文系统性地阐述了自然语言转SQL(NL2SQL) 技术如何让非技术背景的业务分析师实现数据自助查询,从而提升数据驱动决策的效率与准确性。
从“写SQL”到“聊数据”:NL2SQL如何用自然语言解锁数据库?
|
2月前
|
SQL 人工智能 Linux
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
298 5
SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
|
1月前
|
SQL 存储 监控
SQL日志优化策略:提升数据库日志记录效率
通过以上方法结合起来运行调整方案, 可以显著地提升SQL环境下面向各种搜索引擎服务平台所需要满足标准条件下之数据库登记作业流程综合表现; 同时还能确保系统稳健运行并满越用户体验预期目标.
143 6
|
2月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
|
2月前
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
2月前
|
SQL Oracle 关系型数据库
Oracle数据库创建表空间和索引的SQL语法示例
以上SQL语法提供了一种标准方式去组织Oracle数据库内部结构,并且通过合理使用可以显著改善查询速度及整体性能。需要注意,在实际应用过程当中应该根据具体业务需求、系统资源状况以及预期目标去合理规划并调整参数设置以达到最佳效果。
229 8
|
3月前
|
SQL 人工智能 Java
用 LangChain4j+Ollama 打造 Text-to-SQL AI Agent,数据库想问就问
本文介绍了如何利用AI技术简化SQL查询操作,让不懂技术的用户也能轻松从数据库中获取信息。通过本地部署PostgreSQL数据库和Ollama模型,结合Java代码,实现将自然语言问题自动转换为SQL查询,并将结果以易懂的方式呈现。整个流程简单直观,适合初学者动手实践,同时也展示了AI在数据查询中的潜力与局限。
362 8
|
3月前
|
SQL 人工智能 Linux
SQL Server 2025 RC0 发布 - 从本地到云端的 AI 就绪企业数据库
SQL Server 2025 RC0 发布 - 从本地到云端的 AI 就绪企业数据库
234 5
|
2月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
|
4月前
|
SQL 缓存 监控
SqlRest让SQL秒变Http API,还支持20+数据库(含国产数据库)
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。

热门文章

最新文章