《PowerShell V3——SQL Server 2012数据库自动化运维权威指南》——2.20 使用BULK INSERT实施批量导入

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
简介:

本节书摘来自异步社区出版社《PowerShell V3—SQL Server 2012数据库自动化运维权威指南》一书中的第2章,第2.20节,作者:【加拿大】Donabel Santos,更多章节内容可以访问云栖社区“异步社区”公众号查看。

2.20 使用BULK INSERT实施批量导入

本方案描述了如何用PowerShell和BULK INSERT将CSV文件导入SQL Server。

2.20.1 准备

为了做导入测试,我们首先需要创建一个Person表,类似于AdventureWorks2008R2数据库的Person.Person表,简单地修改一下。

我们将在Test架构下创建,并移除一些约束,保持表简单且独立。

为了创建本练习中需要的表,我们打开SSMS,运行如下代码。

CREATE SCHEMA [Test]
GO
CREATE TABLE [Test].[Person](
 [BusinessEntityID] [int] NOT NULL PRIMARY KEY,
 [PersonType] [nchar](2) NOT NULL,
 [NameStyle] [dbo].[NameStyle] NOT NULL,
 [Title] [nvarchar](8) NULL,
 [FirstName] [dbo].[Name] NOT NULL,
 [MiddleName] [dbo].[Name] NULL,
 [LastName] [dbo].[Name] NOT NULL,
 [Suffix] [nvarchar](10) NULL,
 [EmailPromotion] [int] NOT NULL,
 [AdditionalContactInfo] [xml] NULL,
 [Demographics] [xml] NULL,
 [rowguid] [uniqueidentifier] ROWGUIDCOL NOT NULL,
 [ModifiedDate] [datetime] NOT NULL
)
GO

在本方案中,我们将导入AdventureWorks2008R2.Person.Person.csv文件,Packt网站提供了可下载资源。保存在目录C:TempExports下。

或者,创建一个CSV文件,像在使用bcp实施批量导出方案中所提到的,替换文件名。

2.20.2 如何做…

1.通过“Start | Accessories | Windows PowerShell | Windows PowerShell ISE”打开PowerShell控制台。

2.首先添加一些辅助函数。输入如下并执行。

Import-Module SQLPS -DisableNameChecking
function Import-Person {
<# 
.SYNOPSIS 
   Very simple function to get number 
   of records in Test.Person 
.NOTES 
   Author   : Donabel Santos 
.LINK 
   http://www.sqlmusings.com
#> 
param([string]$instanceName,[string]$dbName)
$query = @"
TRUNCATE TABLE Test.Person
GO
BULK INSERT AdventureWorks2008R2.Test.Person
  FROM 'C:\Temp\Exports\AdventureWorks2008R2.Person.Person.csv'
  WITH 
    (
      FIELDTERMINATOR ='|',
      ROWTERMINATOR ='\n'
    )
SELECT COUNT(*) AS NumRecords
FROM AdventureWorks2008R2.Test.Person
"@;
#check number of records
Invoke-Sqlcmd -Query $query `
-ServerInstance "$instanceName" `
-Database $dbName
}

3.现在在同一个会话中调用该函数。

$instanceName = "KERRIGAN"
$dbName = "AdventureWorks2008R2"
Import-Person $instanceName $dbName

2.20.3 如何实现…

使用BULK INSERT命令,从CSV或文本文件中将记录导入到SQL Server表,需要创建BULK INSERT T-SQL语句,并使用Invoke-Sqlcmd执行以下语句。

Invoke-Sqlcmd -Query $query `
-ServerInstance "$instanceName" `
-Database $dbName

然而,我们的做法不同于之前的方案。在本方案中,我们首先创建了一个函数,将所有核心导入任务括起来。

创建函数时,我们首先需要创建函数头部。

function Import-Person {

函数头部以function开始,然后跟随着函数名,以动词-名词的形式。函数体通过一对大括号括起来。

在函数头部后面,创建了注释信息,对头部进行注释。

<# 
.SYNOPSIS 
   Very simple function to get number   of records in Test.Person 
.NOTES 
   Author   : Donabel Santos 
.LINK 
   http://www.sqlmusings.com
#>

在PowerShell中,块注释以<#开始,以#>结束。此外,这是一个特别类型的块注释,可以在Get-Help中显示函数的注释。现在我们输入:

Get-Help Import-Person

你得到的结果与从其他的cmdlet中获得的帮助类似。

image

在函数头部和注释后面是参数。Import-Person函数接受两个参数:instance name和database name。

param([string]$instanceName,[string]$dbName)

参数定义之后是函数定义。我们创建一个字符串,保存T-SQL语句。

$query = @"
TRUNCATE TABLE Test.Person
GO
BULK INSERT AdventureWorks2008R2.Test.Person
  FROM 'C:\Temp\Exports\AdventureWorks2008R2.Person.Person.csv'
  WITH 
    (
      FIELDTERMINATOR ='|',
      ROWTERMINATOR ='\n'
    )
SELECT COUNT(*) AS NumRecords
FROM AdventureWorks2008R2.Test.Person
"@;

在创建查询后,我们将其传递给Invoke-Sqlcmd cmdlet,让它在SQL Server实例中执行。

Invoke-Sqlcmd -Query $query `
-ServerInstance "$instanceName" `
-Database $dbName

在PowerShell中,函数默认是本地域范围,但是当通过ISE运行时,将保持一个全局域范围。在我们的方案中,一旦你运行第一部分含有函数定义的脚本,你可以在当前会话中的任何时候调用函数。我们可以看到该函数简化了导入记录,我们只需要明确实例名、数据库名和Import-Person函数。

$instanceName = "KERRIGAN"
$dbName = "AdventureWorks2008R2"
Import-Person $instanceName $dbName

如果你使用Shell,想要函数能在全局域范围内访问,保存该脚本为.ps1文件,并点号加载它。另一个方法是添加函数名和global。

function global:Import-Person {

2.20.4 请参阅…

执行查询语句/SQL脚本方案
使用bcp实施批量导入。

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS&nbsp;SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/sqlserver
相关文章
|
1月前
|
SQL 存储 关系型数据库
第二篇:关系型数据库的核心概念与 SQL 基础
本篇内容深入浅出地讲解了关系型数据库的核心概念与SQL基础,适合有一定计算机基础的学习者。文章涵盖数据库的基本操作(CRUD)、数据类型、表的创建与管理等内容,并通过实例解析SELECT、INSERT、UPDATE、DELETE等语句的用法。此外,还推荐了多种学习资源与实践建议,帮助读者巩固知识。学完后,你将掌握基础数据库操作,为后续高级学习铺平道路。
101 1
|
2月前
|
SQL 数据库 数据安全/隐私保护
数据库数据恢复——sql server数据库被加密的数据恢复案例
SQL server数据库数据故障: SQL server数据库被加密,无法使用。 数据库MDF、LDF、log日志文件名字被篡改。 数据库备份被加密,文件名字被篡改。
|
2月前
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。
|
2月前
|
关系型数据库 MySQL 大数据
大数据新视界--大数据大厂之MySQL 数据库课程设计:MySQL 数据库 SQL 语句调优的进阶策略与实际案例(2-2)
本文延续前篇,深入探讨 MySQL 数据库 SQL 语句调优进阶策略。包括优化索引使用,介绍多种索引类型及避免索引失效等;调整数据库参数,如缓冲池、连接数和日志参数;还有分区表、垂直拆分等其他优化方法。通过实际案例分析展示调优效果。回顾与数据库课程设计相关文章,强调全面认识 MySQL 数据库重要性。为读者提供综合调优指导,确保数据库高效运行。
|
3月前
|
SQL 数据库连接 Linux
数据库编程:在PHP环境下使用SQL Server的方法。
看看你吧,就像一个调皮的小丑鱼在一片广阔的数据库海洋中游弋,一路上吞下大小数据如同海中的珍珠。不管有多少难关,只要记住这个流程,剩下的就只是探索未知的乐趣,沉浸在这个充满挑战的数据库海洋中。
85 16
|
3月前
|
SQL 关系型数据库 MySQL
如何优化SQL查询以提高数据库性能?
这篇文章以生动的比喻介绍了优化SQL查询的重要性及方法。它首先将未优化的SQL查询比作在自助餐厅贪多嚼不烂的行为,强调了只获取必要数据的必要性。接着,文章详细讲解了四种优化策略:**精简选择**(避免使用`SELECT *`)、**专业筛选**(利用`WHERE`缩小范围)、**高效联接**(索引和限制数据量)以及**使用索引**(加速搜索)。此外,还探讨了如何避免N+1查询问题、使用分页限制结果、理解执行计划以及定期维护数据库健康。通过这些技巧,可以显著提升数据库性能,让查询更高效流畅。
|
2月前
|
SQL IDE 关系型数据库
JetBrains DataGrip 2025.1 发布 - 数据库和 SQL 跨平台 IDE
JetBrains DataGrip 2025.1 (macOS, Linux, Windows) - 数据库和 SQL 跨平台 IDE
144 0
|
4月前
|
SQL 数据库
数据库数据恢复—SQL Server报错“错误 823”的数据恢复案例
SQL Server数据库附加数据库过程中比较常见的报错是“错误 823”,附加数据库失败。 如果数据库有备份则只需还原备份即可。但是如果没有备份,备份时间太久,或者其他原因导致备份不可用,那么就需要通过专业手段对数据库进行数据恢复。
|
4月前
|
SQL 存储 关系型数据库
【SQL技术】不同数据库引擎 SQL 优化方案剖析
不同数据库系统(MySQL、PostgreSQL、Doris、Hive)的SQL优化策略。存储引擎特点、SQL执行流程及常见操作(如条件查询、排序、聚合函数)的优化方法。针对各数据库,索引使用、分区裁剪、谓词下推等技术,并提供了具体的SQL示例。通用的SQL调优技巧,如避免使用`COUNT(DISTINCT)`、减少小文件问题、慎重使用`SELECT *`等。通过合理选择和应用这些优化策略,可以显著提升数据库查询性能和系统稳定性。
141 9
|
5月前
|
SQL Java 数据库连接
【潜意识Java】MyBatis中的动态SQL灵活、高效的数据库查询以及深度总结
本文详细介绍了MyBatis中的动态SQL功能,涵盖其背景、应用场景及实现方式。
554 6

热门文章

最新文章

下一篇
oss创建bucket