创建SSIS包—建立端到端的package

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
简介: 通过基本task和transforms的学习,现在可以转入到SSIS实际应用。建立端到端的package这个系列中首先讲解将一系列的文件数据导入到SQL Server中的方法,然后添加一些复杂转换,最后将看到如何在package中处理错误和动态地创建package。

通过基本task和transforms的学习,现在可以转入到SSIS实际应用。建立端到端的package这个系列中首先讲解将一系列的文件数据导入到SQL Server中的方法,然后添加一些复杂转换,最后将看到如何在package中处理错误和动态地创建package。

  

创建一个项目

使用SSIS的首要目的是从数据源中读取数据,然后写入Destination中,这个向导介绍从平面文件中读取数据。使用下面的文字

 
 
Zipcode State ZipName
32008 FL BRANFORD
32009 FL BRYCEVILLE
32011 FL CALLAHAN
32013 FL DAY
32033 FL ELKTON
32034 FL AMELIA ISLAND
32038 FL FORT WHITE
32040 FL GLEN SAINT MARY
32043 FL GREEN COVE SPRIN
32044 FL HAMPTON
32046 FL HILLIARD
32052 FL JASPER
32053 FL JENNINGS
32054 FL LAKE BUTLER
32055 FL LAKE CITY
32058 FL LAWTEY
32059 FL LEE
32060 FL BOYS RANCH
32061 FL LULU
32062 FL MC ALPIN
32063 FL MACCLENNY
32065 FL ORANGE PARK
32066 FL MAYO
32068 FL MIDDLEBURG
32071 FL O BRIEN
32073 FL ORANGE PARK
32082 FL PONTE VEDRA BEAC
32083 FL RAIFORD
32084 FL SAINT AUGUSTINE
32086 FL SAINT AUGUSTINE
32087 FL SANDERSON
32091 FL STARKE
32092 FL SAINT AUGUSTINE
32094 FL WELLBORN
32095 FL SAINT AUGUSTINE
32096 FL WHITE SPRINGS
32097 FL YULEE
32102 FL ASTOR
32110 FL BUNNELL
32112 FL CRESCENT CITY
32113 FL CITRA

创建ZipCode.txt文件,这个文件包含美国邮政编码。新建一个项目,选择项目类型Integration Service Project,如图5-1,将默认的package文件Package.dtsx重命名为ZipLoad.dtsx。

img_4173aad2f2e61088f5d999b5ebf7a781.png

图5-1

  

创建连接

我们创建一个能在多个package中使用的连接,在解决方案管理器中右击Data Source文件夹新建一个数据源,打开数据源向导,选择“Create a data source based on an existing or new connection”点击New,代开连接管理器。

注意:有多种方式建立数据源连接,例如,可以在Data Flow中拖放数据源任务。

选择Native OLE DB\SQL Native Client,输入连接名字,为方便读写数据库选择授权模式,最后选择AdventureWorks数据库,点击OK。如果没有安装AdventureWorks数据库可以任意选择一个数据库,然后测试连接,将数据源命名为AdventureWorks。在DataFlow拖放数据源的方式不能共享数据源,在下面ConnectionManagers中点击新建连接时可以看到我们已经创建好的一个连接,在所有的package中都可以选择这个连接。

下一步,新建一个指向ZipCode.txt的平面文件链接,在Package Designer中右击选择新建文件链接,命名为ZipCode Extract,指向连接C:\SSISDemos\ZipCode.txt。

Format下拉列表选择默认的Delimited,Text qualifier默认选择<none>。Text Qualifier用来设定字符串的分隔符。在文本中以逗号分隔是这个选项设置会很有用,他会忽略这些符号只抓取文本。在这个例子中文本内容没有分隔符,所以保持默认选择<none>。Header row delimiter选项设置为Tab{t},并选中Column names in first data row单选框,最终的界面如图5-2

img_16ddd8cfa7095070032aabf1850f2fe5.png

图5-2

点击Columns进入标签界面,Row Delimiter默认设置{CR}{LF},意思是使用回车换行来分隔行。Column Delimiter选择项保持默认设置Tab{t},意思是使用制表符区分列。由于选中了Column names in first data row选项所以这里看到第一行的显示的是数据而不是列名。

点击Advanced进入标签界面,在这个界面中可以设置每一个列的数据类型。默认的类型是50个字符的字符串,在这个例子中比实际要长。选中ZipCode,点击Suggest Types打开Suggest Column Types对话框,一般情况下保持默认选项,点击OK选择合适的类型。然后可以看到数据类型变成了two-byte signed integer [DT_I2],这种类型在一般情况下会满足要求,如果邮编号码以0开头时会出现错误,所以点击下拉列表框选择string [DT_STR],OutPutColumnWidth选项设置为5,最后TextQualified选项选择false,如图5-3。

img_1c9400eacaacda6c1b2a65c5fadc3595.png

图5-3

  

创建任务

创建好连接之后可以接着创建任务,首先在Control Flow中拖放一个Data Flow Task并重命名为Load ZipCode Info。

  

创建数据流

双击Load ZipCode Info进入Data Flow界面,在这里进行更详细的设计。细心的话会看到在工具栏中的工具列表发生变化。

在DataFlow界面中拖放一个Flat File Source并成命名为Florida ZipCode File,双击打开编辑界面如图5-4默认选中上面我们创建的连接ZipCode,点击Columns可以看到要导出的列,点击OK退出编辑界面。

img_da9ba6ff350faa2da6606b1884101298.png

图5-4

下一步,拖放一个SQL Server Destination重命名为AdventureWorks,使用绿色箭头把它和Florida ZipCode File连接起来。双击AdventureWorks选择AdventureWorks数据连接,在User a table or view下拉选项中New在这里可以编写代码新建表而不需要在SQL Server Management Studio中新建表,修改默认的建表语句后如下:

 
 
1 CREATE TABLE [ ZipCode ] (
2 [ Zipcode ] VARCHAR ( 5 ),
3 [ State ] VARCHAR ( 2 ),
4 [ ZipName ] VARCHAR ( 16 )
5 )

注意:如果没有使用箭头和上一个task连接的话,这里不能点击New按钮。完成建表语句之后点击下拉列表框可以看到多了一个选项ZipCode,在Mappings标签界面中还可以看到字段映射。SSIS总是按照名字来映射,创建的表中的字段名和数据源中的是一致的,所以看到三条平行的映射,如图5-5

 img_1ded6a245900cdda4289cb4cd4327159.png

图5-5

为使这个Package更加完整,保证每次都可以运行这个Package,回到Tontrol Flow界面拖放一个Execute SQL task,重命名为Purge ZipCode Table,双击打开编辑界面,在Connection下拉列表中选择AdventureWorks连接,在SQL Statement选项中打开编辑界面输入下面的SQL语句:

DELETE FROM ZipCode

点击OK完成编辑,把它放在Load ZipCode Info任务的上面,使用箭头把他们连接起来。整个Package就完成了,点击保存按钮,值得注意的是在这里保存的是.dtsx文件,并没有保存到服务器中,部署package在后面的随笔中讲解。

  

执行包

完成编辑之后,可以点击debug按钮运行,或者右击ZipCode.dtsx点击Execute Package。在运行之前会花费几秒钟时间来编译和验证。在Output界面可以看到运行过程,然后看到task的图标由黄变绿,证明Package执行成功。如果执行失败在Output 界面可以看到错误信息。如果Output界面没有打开可以点击View-Other Windows Output。

在Data Flow界面会看到具体导入了多少行,界面如图5-5。

img_4ffc3a11ef76bb712cd66b89b681bddf.png

图5-5

这里要注意,上面创建txt文件的时候我只复制了一部分内容,如果你在自己的机器上实验,这里应该41 rows。这里在默认情况下,在调试状态下对Package中所做的任何修改都不会被编译运行直到下一次运行。点击Stop Debugging停止运行。

  

问题

在这里可能遇到一个问题,点击运行的时候并没有像上面所说的那么顺利,出现了错误,提示如图5-6:

img_b8eaf2c74566f3cde1b0a3e7e88e5e4a.png

图5-6

借助强大的百度我们找到了问题的症结和解决方案,首先把这个地址贴出来

http://support.microsoft.com/kb/2009672

  1. 症状:SSIS中创建一个包含了SQL Server Destination的数据流任务,当尝试运行Package的时候,如果使用的是Windows7或者Vista操作系统,系统会打开UAC,是微软为提高系统安全而在Windows Vista中引入的新技术,它要求所有用户在标准账号模式下运行程序和任务,阻止未认证的程序安装,并阻止标准用户进行不当的系统设置改变。在这种情况下你会遇到这个错误提示:                                    SQL Server Destination] Error: Unable to prepare the SSIS bulk insert for data insertion.
    [SSIS.Pipeline] Error: component "SQL Server Destination" failed the pre-execute phase and returned error code 0xC0202071.
  2. 原因:在打开UAC功能的系统中,当程序如SSIS被管理员群组的用户执行时有两种安全令牌,一种低级别的,一种较高级别的。运行程序的时候选择“Run as Administrator”时会使用较高级别的,默认情况下SSIS程序在连接数据库的时候会使用低级别的。
  3. 解决:如果是在SQL Server Management Studio (SSMS) 或 Business Intelligence Development Studio (BIDS) 或 DTExecUI.exe中运行Package,重新代开程序并选择Run as Administrator。如图5-7,然后弹出询问对话框如图5-8,点击Yes打开程序重新运行Package。 img_ed6cc80d62b865efb10e7968f54afabf.png  图5-7                                         img_f9142fa888425d13b3e0b490a8f0d0f6.png图5-8

                                        

 至此一个简单的package就完成了,我们将txt文件中的内容导入到数据库中,在数据库中使用语句SELECT * FROM ZipCode就可以查出数据,他们和txt的内容是一样的。

作者:Tyler Ning
出处:http://www.cnblogs.com/tylerdonet/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,如有问题,可以通过以下邮箱地址williamningdong@gmail.com  联系我,非常感谢。

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS&nbsp;SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
2天前
|
自然语言处理 数据可视化 数据挖掘
带你飞上云端,轻松解析数据——gopup库详细解析--包含安装库教程
本文介绍了Python库gopup,它是一个用于轻松爬取互联网数据的工具,简化了数据收集和处理的过程。文章提供了gopup的安装教程,特别强调了安装时需注意setuptools版本,并给出了PyCharm和命令行两种安装方法。gopup库能获取包括指数、百度和谷歌数据等多种类型的数据。文中还展示了如何使用gopup获取微博指数和豆瓣新片榜数据,并通过代码示例呈现数据和图表。此外,文章提醒了使用时的风险和部分接口的失效情况,并提供了库文档链接以供深入学习。gopup库适用于数据可视化和数据分析,是进行文本挖掘和自然语言处理项目的理想工具。
35 0
带你飞上云端,轻松解析数据——gopup库详细解析--包含安装库教程
|
30天前
|
安全 网络性能优化 Android开发
深入解析:选择最佳C++ MQTT库的综合指南
深入解析:选择最佳C++ MQTT库的综合指南
86 0
|
存储 监控 安全
GO --- 实时通信Melody包的介绍和例子
GO --- 实时通信Melody包的介绍和例子
GO --- 实时通信Melody包的介绍和例子
|
JSON 中间件 数据格式
.NET Core使用Source Link提高源代码调试体验和生产效率
.NET Core使用Source Link提高源代码调试体验和生产效率
118 0
.NET Core使用Source Link提高源代码调试体验和生产效率
|
存储 网络协议 开发工具
XTCP 一个便捷的TCP消息包拼装和解析框架
XTCP 一个便捷的TCP消息包拼装和解析框架
610 0
|
移动开发 编解码 缓存
mPaas H5离线包优化指南
在移动互联网时代的今天,市场上绝大多数终端App都在使用H5展示页面,且随着终端技术迭代更新和市场多变性,H5页面在App中的占比越来越重要。同时也暴露出一个所有App的共性问题,即性能优化。同样的H5页面的性能优化也是重点问题。 在mPaaS团队中虽然已将H5页面资源等打包做离线包了,但在复杂的客户环境、开发环境、市场环境下,客户端的H5离线包仍有性能优化问题,这里整理简单了集团下对H5离线包的优化策略方案,以供参考。
2482 0
mPaas H5离线包优化指南
flowable 从zip压缩包 部署流程定义
flowable 从zip压缩包 部署流程定义
159 0
|
Web App开发 存储 开发框架
如何建立一个安全的“记住我”功能
有这样一个场景——有个用户初访并登录了你的网站,然而第二天他又来了,却必须再次登录。于是就有了“记住我”这样的功能来方便用户使用,然而有一件不言自明的事情,那就是这种认证状态的”旷日持久“早已超出了用户原本所需要的使用范围。这意味着,他们可以关闭浏览器,然后再关闭电脑,下周或者下个月,乃至更久以后再回来,只要这间隔时间不要太离谱,该网站总会知道谁是谁,并一如既往的为他们提供所有相同的功能和服务——与许久前他们离开的时候别无二致。
332 0
如何建立一个安全的“记住我”功能