实例学习SSIS(四)--使用日志记录和错误流重定向

简介: 原文:实例学习SSIS(四)--使用日志记录和错误流重定向 导读: 实例学习SSIS(一)--制作一个简单的ETL包 实例学习SSIS(二)--使用迭代 实例学习SSIS(三)--使用包配置 实例学习SSIS(四)--使用日志记录和错误流重定向 实例学习SSIS(五)--理论介绍SSI...
原文: 实例学习SSIS(四)--使用日志记录和错误流重定向

导读:

实例学习SSIS(一)--制作一个简单的ETL包

实例学习SSIS(二)--使用迭代

实例学习SSIS(三)--使用包配置

实例学习SSIS(四)--使用日志记录和错误流重定向

实例学习SSIS(五)--理论介绍SSIS

 

 

一、使用日志记录

SSIS提供的日志记录方式:

         文本文件

         SQL Server Profiler

         Windows 事件日志

         SQL Server

         XML 文件

准备工作

使用上节的包,修改myconfig.dtsConfig,将文件夹对应到D:\lyp\SQL\SSIS\package4

在文件夹下新建userinfo5.txtuserinfo6.txt

         Userinfo5.txt11|name11|我是name11|,12|name12|我是name12|

         Userinfo6.txt13|name13|我是name13|,14|name14|我是name14|

步骤:

         1、添加一条文本日志,如下图:

         img_bdc97dabab72b2ab91ac5f1715f455a9.jpg

         2、指定写入日志信息的txt文件,如下图:

img_97619d4d94800a334c54f3d0aaed755e.jpg

         3、选择要记录的事件:

img_90d88780c4fdb0c8a7f5508462bb1fdd.jpg

        

调试:

img_b73c3bf02ece555a0191d7109e037023.jpg

         D:\lyp\SQL\SSIS\package4下创建了一个log.txt文件,可以看到里面有相应的事件执行记录。

二、使用错误流重定向

SSIS错误处理方式

在数据转换时很有可能会发生错误,SSIS对错误的处理方式:

1、选择忽略某些列中的失败;

2、重定向整个失败的行;

3、使组件失败。

默认情况下,所有组件发生错误时失败,从而导致包失败并停止后续处理。

为了不让包停止,发生错误时,通过配置来处理错误,通常是将失败的行重定向到别处进行处理。

准备工作

                   1、使用上面日志记录用到的包;

                   2、创建有错误的数据源文件userinfo7.txtD:\lyp\SQL\SSIS\package5\)。

                            userinfo7.txt15|name15|我是name15|,abc|name17|我是name17|,18|name18|我是name18|

                            在转换idint时会出现错误。

使用组件失败的情况

                   在“数据流”中编辑“用户来源”平面文件源,在“错误输出”中将各列的“错误”选成“组件失败”:

img_d2d598613cdd18d26ab3132ceb507edb.jpg

    调试程序,可以看到“用户来源”变成了红色,整个包停止了,文件中的数据没有被成功导入到数据库中。

img_48bd632af1a2c61b3aab2baec01683ae.jpg

使用错误流重定向

         目标

                   把出错的行重定向的别的文件(errorLog.txt)而不会使包停止。

         步骤:

                   1、拖拽一个“平面文件目标”到数据流选项卡。

                   2、把“用户来源”的红箭头拖到该目标上,在弹出的“配置错误输出”中将UiD的“错误”选择为“重定向行”。

                   3、编辑“平面文件目标”:

                            新建“平面文件链接管理器”,选择错误记录文件(errorLog.txt),如下:

img_424452aefab1c2a0e205b7b3409fff61.jpg

 

img_1b27e40ea63ba726bdac1c00d81cfba8.jpg

         调试:

                   调试程序,可以看到向数据库中插入了两条记录,并在errorLog.txt中写入了出错的行。

img_95823bc71b3ba9bca16f2f726cf005d4.jpg

 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
3月前
|
存储 Go
Go 浅析主流日志库:从设计层学习如何集成日志轮转与切割功能
本文将探讨几个热门的 go 日志库如 logrus、zap 和官网的 slog,我将分析这些库的的关键设计元素,探讨它们是如何支持日志轮转与切割功能的配置。
93 0
Go 浅析主流日志库:从设计层学习如何集成日志轮转与切割功能
|
4月前
|
Kubernetes 容器
k8s学习-CKS真题-日志审计 log audit
k8s学习-CKS真题-日志审计 log audit
73 0
|
4月前
|
存储 缓存 关系型数据库
认真学习MySQL的事务日志-Redo日志
认真学习MySQL的事务日志-Redo日志
44 0
|
4月前
|
存储 监控 数据可视化
小白带你学习linux的ELK日志收集系统
小白带你学习linux的ELK日志收集系统
157 0
|
5月前
Qt自带的日志重定向机制
Qt自带的日志重定向机制
|
7月前
|
关系型数据库 物联网 PostgreSQL
沉浸式学习PostgreSQL|PolarDB 11: 物联网(IoT)、监控系统、应用日志、用户行为记录等场景 - 时序数据高吞吐存取分析
物联网场景, 通常有大量的传感器(例如水质监控、气象监测、新能源汽车上的大量传感器)不断探测最新数据并上报到数据库. 监控系统, 通常也会有采集程序不断的读取被监控指标(例如CPU、网络数据包转发、磁盘的IOPS和BW占用情况、内存的使用率等等), 同时将监控数据上报到数据库. 应用日志、用户行为日志, 也就有同样的特征, 不断产生并上报到数据库. 以上数据具有时序特征, 对数据库的关键能力要求如下: 数据高速写入 高速按时间区间读取和分析, 目的是发现异常, 分析规律. 尽量节省存储空间
600 1
|
4月前
|
Kubernetes 监控 容器
k8s学习-CKA真题-监控Pod日志
k8s学习-CKA真题-监控Pod日志
78 0
|
6月前
|
Java 测试技术 Docker
Spring Boot 学习研究笔记(十九)-docker部署SpringBoot 日志目录挂载
Spring Boot 学习研究笔记(十九)-docker部署SpringBoot 日志目录挂载
260 0
|
2月前
|
SQL 关系型数据库 MySQL
MySQL技能完整学习列表11、日志和备份——1、查看日志——2、数据备份和恢复(mysqldump, mysqlbinlog)
MySQL技能完整学习列表11、日志和备份——1、查看日志——2、数据备份和恢复(mysqldump, mysqlbinlog)
45 0
|
7月前
|
Java
Filebeat日志采集器实例 1
Filebeat日志采集器实例
74 1