实例学习SSIS(五)--理论介绍SSIS

简介: 原文:实例学习SSIS(五)--理论介绍SSIS导读: 实例学习SSIS(一)--制作一个简单的ETL包 实例学习SSIS(二)--使用迭代 实例学习SSIS(三)--使用包配置 实例学习SSIS(四)--使用日志记录和错误流重定向 实例学习SSIS(五)--理论介绍SSIS    一、概述                    Integration Services 是用于生成高性能数据集成和工作流解决方案(包括针对数据仓库的提取、转换和加载 (ETL) 操作)的平台。
原文: 实例学习SSIS(五)--理论介绍SSIS

导读:

实例学习SSIS(一)--制作一个简单的ETL包

实例学习SSIS(二)--使用迭代

实例学习SSIS(三)--使用包配置

实例学习SSIS(四)--使用日志记录和错误流重定向

实例学习SSIS(五)--理论介绍SSIS

   一、概述

                   Integration Services 是用于生成高性能数据集成和工作流解决方案(包括针对数据仓库的提取、转换和加载 (ETL) 操作)的平台。

             Integration Services 包括:

                   a)生成并调试包的图形工具和向导;

                   b)执行如 FTP 操作、SQL 语句执行和电子邮件消息传递等工作流功能的任务;

                   c)用于提取和加载数据的数据源和目标;

                   d)用于清理、聚合、合并和复制数据的转换;

                   e)管理服务,即用于管理 Integration Services 包的 Integration Services 服务;

                   f)用于对 Integration Services 对象模型编程的应用程序接口 (API)

    img_b9b792bb04b60e8168a11c676dc9f1e9.jpg

   二、SSIS体系结构

         SSIS由四大部分组成:服务、对象模型、运行时和数据流。

                   下面这张大图显示了各部分之间的关系:

img_8b4f90f2032dee3955a6c1b940c786a1.jpg

         服务

        Configuration Manager中可以看到SSIS的服务:SQL Server Integration Services

            提示:

     1、设计和执行IS包不需要启动该服务,可以使用 SQL Server 导入和导出向导、SSIS 设计器、执行包实用工具以及 dtexec 命令提示实用工具运行包。

         2、如果要通过SQL Server Management Studio监视包,则需要启动该服务。

  使用SSMS监视时,可以看到两个顶级文件夹:“正在运行的包”和“已存储的包”。

  在“正在运行的包”文件夹下可以停止某个运行的包。

         对象模型

         对象模型包括用于访问 Integration Services 工具、命令行实用工具以及自定义应用程序的本机和托管应用程序编程接口 (API)

         工具介绍:

         Business Intelligence Development StudioBIDS

         创建和调试包。

         BIDS中的设计器

         如下图:

img_935df9fb7508bdbf826e1d8242f7b795.jpg

         命令

                   dtexec:运行现有的包;

                   如执行包:dtexec /f "c:\pkgOne.dtsx"

                   dtutil:可以对包进行访问,复制、删除、移动和 签名等;

                   如复制包:dtutil /FILE c:\myTestedPackage\package.dtsx /DestServer myserver /COPY SQL;newpackage

         运行时

                   包的运行时,为日志记录、断点、配置、连接和事务提供支持。

         数据流

         数据流任务封装数据流引擎。数据流引擎提供将数据从源移动到目标的内存中的缓冲区,并且调用从文件和关系数据库中提取数据的源。

三、典型用途

         合并来自异类数据存储区的数据

                   合并存储在不同数据存储系统中的数据,提取这些数据合并到单个一致的数据存储系统中。        

img_fbddbef4f70f207c32dd24ef6c001df9.jpg

 

         填充数据仓库和数据集市

         数据仓库和数据集市中的数据具有更新频繁加载量大的特点,SSIS专门提供了一个从平面文件大容量加载到 SQL Server的任务。

         清除数据和数据标准化

         Integration Services 包含一些内置转换,可将其添加到包中以清理数据和将数据标准化、更改数据的大小写、将数据转换为不同类型或格式或者根据表达式创建新列值。

         将商业智能置入数据转换过程

         Integration Services 提供了用于将商业智能置入 SSIS 包的容器、任务和转换。

可能需要根据数据值对数据进行汇总、转换和分发,SSIS 包中的逻辑可能需要执行以下类型的任务:

a)合并来自多个数据源的数据。

b)计算数据并应用数据转换。

c)根据数据值将一个数据集拆分为多个数据集。

d)将不同的聚合应用到一个数据集的不同子集。

e)将数据的子集加载到不同目标或多个目标。

         使管理功能和数据加载自动化

管理功能自动化,例如备份和还原数据库等,可以使用 SQL Server 代理作业安排SSIS 包。

 

参考:ms-help://MS.SQLCC.v9/MS.SQLSVR.v9.zh-CHS/extran9/html/c4398655-5657-4ae4-a690-a380790fe84f.htm  

 

目录
相关文章
|
Shell Linux C语言
【Shell 命令集合 文件管理】Linux 删除 rm命令使用指南
【Shell 命令集合 文件管理】Linux 删除 rm命令使用指南
734 0
|
2月前
|
存储 缓存 固态存储
2026年阿里云服务器2核8G、4核16G、8核32G最新收费标准和活动价格参考
阿里云服务器提供2核8G、4核16G、8核32G配置,适合中小型数据库、缓存、搜索集群及企业办公等场景。收费标准包括按量付费、包月及多年付费,价格因实例规格和购买时长而异。文中列举了详细价格,如2核8G配置年付701.40元起,4核16G配置年付1291.80元起,8核32G配置年付7551.94元起。用户可根据需求选择,并通过阿里云活动页面获取实时优惠,领券购买可额外减免。
2026年阿里云服务器2核8G、4核16G、8核32G最新收费标准和活动价格参考
|
C++ Windows
VS Code 切换中英文
VS Code 切换中英文
2832 0
VS Code 切换中英文
|
分布式计算 大数据 Hadoop
大数据||zookeeper来实现HDFS自动故障转移
namenode启动都是standby。 利用zookeeper来选举一个为active ZooKeeper客户端ZKFC: ZKFailoverController 给namenode添加失效备缓监控器(ZKFC: ZKFailoverCon...
1936 0
|
6月前
|
运维 开发者 Docker
一、Docker:一场颠覆应用部署与运维的容器革命
Docker的出现,就是为了解决“在我电脑上能跑”这个老大难问题。它像个魔法集装箱,把你的程序和它需要的所有东西(比如库、配置)都打包好,这样无论在哪运行,环境都一模一样。理解它很简单,就三个核心玩意儿:镜像是程序的“安装包”,容器是跑起来的程序,而仓库就是存放和分享这些“安装包”的地方。
595 6
|
1月前
|
人工智能 安全 Java
超越Linux之后:OpenClaw登顶GitHub,但开发者真正需要怎样的AI编程工具?
2026年3月,AI助手OpenClaw登顶GitHub活跃度榜首,标志AI从“聊天”迈向“实干”。而飞算JavaAI专业版另辟蹊径——专注Java生态,以全量语义分析、自定义规范、框架深度适配,直击老项目接手难、代码水土不服、版本兼容差三大痛点,做开发者真正可信的“技术搭档”。(239字)
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
智能体来了:AI教育产业融合的加速引擎 ——黎跃春:用大学生智能体开发实训点燃创业新风口
智能体时代已来,AI正从工具进化为具备自主决策能力的“助手”。在黎跃春教授推动下,高校联合阿里云开展智能体实训,让大学生零基础开发AI应用。通过产教融合,智能体教育正催生一批年轻创业者,推动AI成为人人可用的生产力工具,开启教育与产业共振的新纪元。(238字)
|
5月前
|
监控 数据可视化 BI
2025年11月国内外10款主流BI工具大全,好用的BI产品推荐
数字化转型加速,企业对数据挖掘需求迫切,商业智能(BI)工具成关键支撑。本文解析了国内外10款知名BI工具:国内产品适配本土需求,如瓴羊Quick BI具备多源数据接入能力,服务超万家企业;永洪BI自研引擎支撑复杂数据处理;Wyn商业智能是工业场景深度集成专家;百度智能BI是AI驱动的云原生分析工具。国际产品技术成熟,如Tableau可视化能力强;Microsoft Power BI与微软生态无缝集成;Qlik Sense关联式数据引擎突出;Looker是云原生企业级分析平台;MicroStrategy擅长企业级复杂数据处理。企业选型时,选择契合自身需求的工具,以发挥数据驱动决策的价值。
|
7月前
|
人工智能 运维 监控
阿里云 API 聚合实战:破解接口碎片化难题,3 类场景方案让业务响应提速 60%
API聚合破解接口碎片化困局,助力开发者降本增效。通过统一中间层整合微服务、第三方接口与AI模型,实现调用次数减少60%、响应提速70%。阿里云实测:APISIX+函数计算+ARMS监控组合,支撑百万级并发,故障定位效率提升90%。
565 0
|
人工智能 自然语言处理 搜索推荐
只用文本,3分钟生成一个网站!首个ChatGPT版网站开发平台
【2月更文挑战第30天】Dora AI是一个创新的生成式AI网站开发平台,让用户通过文本输入快速创建各类网站,无需模板,支持动态生成和个性化定制。平台提供直观的拖拽编辑,降低使用门槛,3分钟内即可生成网页。用户输入提示词或选择“Surprise Me”可获得不同风格的页面。尽管部分高级功能需会员,但基本编辑功能对所有用户开放。Dora AI正研发更多高级功能,如文本生成动画和3D网站,以提升用户体验。
687 2
只用文本,3分钟生成一个网站!首个ChatGPT版网站开发平台

热门文章

最新文章

下一篇
开通oss服务