实例学习SSIS(五)--理论介绍SSIS

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
简介:
一、概述

            Integration Services 是用于生成高 性能 数据集成和 工作流 解决方案(包括针对数据仓库的提取、转换和加载 (ETL) 操作)的平台。

            Integration Services 包括:

                  a)生成并 调试 包的图形 工具 和向导;

                  b)执行如 FTP 操作、SQL 语句执行和电子邮件消息传递等工作流功能的任务;

                  c)用于提取和加载数据的数据源和目标;

                  d)用于清理、聚合、合并和复制数据的转换;

                  e)管理服务,即用于管理 Integration Services 包的 Integration Services 服务;

                  f)用于对 Integration Services 对象 模型 编程的应用程序 接口  ( API )。

    

二、SSIS体系结构

        SSIS由四大部分组成:服务、对象模型、运行时和数据流。

        下面这张大图显示了各部分之间的关系:

 
        服务

        在Configuration Manager中可以看到SSIS的服务:SQL Server Integration Services。

            提示:

    1、设计和执行IS包不需要启动该服务,可以使用 SQL Server 导入和导出向导、SSIS  设计器 、执行包实用工具以及 dtexec 命令提示实用工具运行包。

    2、如果要通过SQL Server Management Studio监视包,则需要启动该服务。

  使用SSMS监视时,可以看到两个顶级文件夹:“正在运行的包”和“已 存储 的包”。

  在“正在运行的包”文件夹下可以停止某个运行的包。

        对象模型

        对象模型包括用于访问 Integration Services 工具、命令行实用工具以及自定义应用程序的本机和 托管 应用程序编程接口 (API)。

        工具介绍:

        Business Intelligence Development Studio(BIDS)

        创建和调试包。

        BIDS中的设计器

        如下图:

 

        命令

                  dtexec:运行现有的包;

                  如执行包:dtexec /f "c:\pkgOne.dtsx"

                  dtutil:可以对包进行访问,复制、删除、移动和 签名等;

                  如复制包:dtutil /FILE c:\myTestedPackage\package.dtsx /DestServer myserver /COPY SQL;newpackage

        运行时

                  包的运行时,为日志记录、断点、 配置 、连接和事务提供支持。

        数据流

        数据流任务封装数据流 引擎 。数据流引擎提供将数据从源移动到目标的内存中的缓冲区,并且调用从文件和关系数据库中提取数据的源。

三、典型用途

        合并来自异类数据存储区的数据

                  合并存储在不同数据存储系统中的数据,提取这些数据合并到单个一致的数据存储系统中。        



        填充数据仓库和数据集市

        数据仓库和数据集市中的数据具有更新频繁和加载量大的特点,SSIS专门提供了一个从平面文件大容量加载到 SQL Server的任务。

        清除数据和数据标准化

        Integration Services 包含一些内置转换,可将其添加到包中以清理数据和将数据标准化、更改数据的大小写、将数据转换为不同类型或格式或者根据表达式创建新列值。

        将商业智能置入数据转换过程

        Integration Services 提供了用于将商业智能置入 SSIS 包的容器、任务和转换。

可能需要根据数据值对数据进行汇总、转换和分发,SSIS 包中的逻辑可能需要执行以下类型的任务:

a)合并来自多个数据源的数据。

b)计算数据并应用数据转换。

c)根据数据值将一个数据集拆分为多个数据集。

d)将不同的聚合应用到一个数据集的不同子集。

e)将数据的子集加载到不同目标或多个目标。

使管理功能和数据加载自动化

管理功能自动化,例如备份和还原数据库等,可以使用 SQL Server 代理作业安排SSIS 包。(文/ 青羽




本文转自 qianshao 51CTO博客,原文链接:http://blog.51cto.com/qianshao/236248,如需转载请自行联系原作者

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情: https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
3月前
|
SQL 关系型数据库 MySQL
学习mysql基础操作
【8月更文挑战第20天】学习mysql基础操作
40 1
|
SQL 关系型数据库 数据库
关系数据库SQL语言简介
一、关系数据库SQL语言简介 SQL(Structured Query Language)是关系型数据库管理系统(RDBMS)中最常用的语言。它是一种标准化的语言,用于存储、操作和查询数据。SQL语言具有以下特点: 1. 数据操作语言(DML):用于对数据库中的数据进行增、删、改等操作,包括INSERT、UPDATE、DELETE等命令。 2. 数据定义语言(DDL):用于定义数据库的结构,包括表、字段、索引、视图等,包括CREATE、ALTER、DROP等命令。 3. 数据查询语言(DQL):用于查询数据库中的数据,包括SELECT、FROM、WHERE等命令。 4. 数据控制语言(DCL)
268 0
|
SQL Java 关系型数据库
模仿Activiti工作流自动建表机制,实现Springboot项目启动后自动创建多表关联的数据库与表的方案
在一些本地化项目开发当中,存在这样一种需求,即开发完成的项目,在第一次部署启动时,需能自行构建系统需要的数据库及其对应的数据库表。
87 1
|
SQL 数据库 开发者
SSIS 实验-2|学习笔记
快速学习 SSIS 实验-2
455 0
SSIS 实验-2|学习笔记
|
数据挖掘
无事来学学--Kettle中应用,统计,映射组件的使用
应用组件 转换里面的第五个分类。应用都是一些工具类。
257 0
|
SQL 关系型数据库 MySQL
MySQL基础实例
总结了一些个人觉得比较常用且重要的mysql sql语句基础操作,不全待续
1027 0
|
SQL 存储 数据库管理