《BI那点儿事》数据流转换——多播、Union All、合并、合并联接

简介: 原文:《BI那点儿事》数据流转换——多播、Union All、合并、合并联接建立测试数据: CREATE TABLE FactResults ( Name VARCHAR(50) , Course VARCHAR(50) , Score I...
原文: 《BI那点儿事》数据流转换——多播、Union All、合并、合并联接

建立测试数据:

CREATE TABLE FactResults
    (
      Name VARCHAR(50) ,
      Course VARCHAR(50) ,
      Score INT
    )

INSERT  INTO FactResults
        ( Name ,
          Course ,
          Score
        )
        SELECT  '张三' ,
                '语文' ,
                90
        UNION ALL
        SELECT  '张三' ,
                '数学' ,
                83
        UNION ALL
        SELECT  '李四' ,
                '语文' ,
                74
        UNION ALL
        SELECT  '李四' ,
                '数学' ,
                84
        UNION ALL
        SELECT  '李四' ,
                '物理' ,
                94

SELECT  *
FROM    FactResults

多播:将数据集分发到多个输出的转换。

如同它的名字一样多点传送可以将一个路径中的数据输出到多个路径,你可能会使用这种转换将数据输出到多个路径中。编辑这种task,将它和输入源连接,然后将它和多个Destination连接,除了task的名字之外,它没有特别的编辑选项。
注意:多点传送类似于Split 转换,不同的是多点传送把所有的行都输出,Split将有条件地输出部分行。

Union All:合并多个数据集的转换。

联合所有task的功能和合并正好相反,它将多个数据源中的合并成一个结果集。例如,将两个XML数据源中的数据合并成一个输出然后将数据送入到关键词抽取任务中。
编辑这种转换,首先将第一个数据源连接到task然后将其他数据源连接到这个task。打开编辑界面,保证列被正确映射,DDIS将会自动适应是否正确映射。例如,一个输入字符是20个字符,另一个是50,出书将会是一个多于50个字符的列。

合并:合并两个已排序数据集的转换。

合并转换可以将两个路径中的输入数据合并成一个输出。这种转换类似于Union All转换,它有一些限制:

  • 合并之前数据必须排序,可以在此之前使用排序转换或者在数据源中使用ORDER BY语句
  • 合并的元数据类型必须相同,例如CustomerID不能在一个路径中是数字型的但是在另一个路径中是字符类型的
  • 如果有多于两个路径,需要选择Union All转换

编辑这种task,确保在两个路径中的数据时一致的,选择列的时候会弹出对话框提示数据合并到路径1还是路径2,如果选择合并到路径1,然后连接路径2。这样选择之后最终将会从一个路径映射到另一个路径,有些路径的数据也可以忽略。


合并联接:使用 FULL、LEFT 或 INNER 联接将两个数据集联接起来的转换。

SSIS的一个目标就是使用任务,尽量保证不写任何代码,一个典型的例子就是连接合并。这种合并可以将两个输入进行内连接或者外连接然后选择性地输出。例如,在一个数据流中存储着包含EmployeeID的人力资源信息,在另一个数据流中存储着工资清单信息,可以对这两个路径进行连接,从人力资源信息中取得姓名,从工资清单信息中取得员工工资,然后从一个路径中输出。
注意:如果两个输入路径在同一个数据库,在OLE DB数据源中进行数据连接操作可能效率更高,如果在不同的数据库中可能效率后受到影响。这种连接合并在两个数据不是同一个数据库中或者不想编写代码时会很有用。


在项目中创建一个【数据流任务】,数据流如下:

组件【多播】的功能是:将其输入分发到一个或多个输出,每个输出都与输入一样。
因此第一个多播名称【多播 张三李四】分发出去的内容与上表一样。
每个组件我都用数据表中的姓名(张三、李四)做名称,方便查看。

组件【条件性拆分】设置如下,姓名等于“张三” 的和 姓名不等于“张三” 的分别输出到两个多播中。

接下来,先看组件【Union All】,是【多播 张三李四】和【多播 只有张三】两个数据的内容上下合并,理论结果:

再看组件【合并联接】,是【排序_张三李四】和【排序_李四】两个表数据排序后合并连接。合并方式如图:
连接类型为:左外部连接。左边为【排序_张三李四】,为第一个输入。
条件为(相当于): ON A.Name=B.Name AND A.Course=B.Course
输出名称重新定义。

输出理论结果为:(排序是按组件【排序_张三李四】的排序结果)

最后为组件【合并】,合并是【合并联接】后与【多播 只有张三】排序后的合并。
第一输入为【排序_张三李四左连接】,因为其有多列(5行6列),以此数据结构为准。
第二输入为【排序_张三】(2行3列)
合并转换如图:

可以看出,【排序_张三】列数不够,所以与上表合并时<忽略>,即无任何值。Union是排序合并,理论结果为:

至此,设计完成,现在编译!可看到数据流传递的行数。结果如图:



目录
相关文章
|
BI
《BI那点儿事》数据流转换——审核
原文:《BI那点儿事》数据流转换——审核 审核转换允许对数据流添加审核审核数据,以往使用HIPPA和Sarbanes-Oxley (SOX)时,必须跟踪谁在什么时插入数据,审核转换可以实现这种功能。例如要跟踪那一个task向表里插入数据,可以在审核转换中添加相应的列。
981 0
|
BI 缓存
《BI那点儿事》数据流转换——聚合
原文:《BI那点儿事》数据流转换——聚合 聚合转换可以像T-SQL中的函数GROUP BY, Average, Minimum, Maximum, 和 Count一样对数据进行聚合运算。在图中可以看到数据以SampleID分组,对TotalSugar做Average、Maximum、Minimum、Count操作。
1052 0
|
BI
《BI那点儿事》数据流转换——数据转换
原文:《BI那点儿事》数据流转换——数据转换 数据转换执行类似于T-SQL中的函数CONVERT或CAST的功能。数据转换的编辑界面如图,选择需要转换的列,在DataType下拉列表中选择需要的数据类型。Output Alias栏内设置输出时使用的别名。
1147 0
|
BI
《BI那点儿事》数据流转换——字符映射表
原文:《BI那点儿事》数据流转换——字符映射表 特征映射转换如图展示数据流中列的特征,它的编辑界面很简单,只有一个标签界面,点击要进行映射的列,可以选择需要添加新列或需要更新的列。可以在Output Alias列中给原来的列一个别名,选择要进行的操作,可以进行的操作类型有: Byte Rev...
959 0
|
BI
《BI那点儿事》数据流转换——条件性拆分
原文:《BI那点儿事》数据流转换——条件性拆分 根据条件分割数据是一个在数据流中添加复杂逻辑的方法,它允许根据条件将数据输出到其他不同的路径中。例如,可以将TotalSugar< 27.4406的输出到一个路径,TotalSugar >= 27.4406的输出到另一个路径。
760 0
|
存储 BI
《BI那点儿事》数据流转换——派生列
原文:《BI那点儿事》数据流转换——派生列 派生列转换通过对转换输入列应用表达式来创建新列值。 表达式可以包含来自转换输入的变量、函数、运算符和列的任意组合。 结果可作为新列添加,也可作为替换值插入到现有列。
1093 0
|
BI
《BI那点儿事》数据流转换——排序
原文:《BI那点儿事》数据流转换——排序 排序转换允许对数据流中的数据按照某一列进行排序。这是五个常用的转换之一。连接数据源打开编辑界面,编辑这种任务。不想设置为排序列的字段不要选中,默认情况下所有列都会选中。
934 0
|
BI 数据挖掘
《BI那点儿事》数据流转换——百分比抽样、行抽样
原文:《BI那点儿事》数据流转换——百分比抽样、行抽样 百分比抽样和行抽样可以从数据源中随机选择一组数据。这两种task都可以产生两组输出,一组是随机选择的,另一组是没有被选择的。可以将这些选择出的数据发送到开发或者测试服务器上。
987 0
|
BI
《BI那点儿事》数据流转换——逆透视转换
原文:《BI那点儿事》数据流转换——逆透视转换   逆透视转换将来自单个记录中多个列的值扩展为单个列中具有同样值的多个记录,使得非规范的数据集成为较规范的版本。例如,每个客户在列出客户名的数据集中各占一行,在该行的各列中显示购买的产品和数量。
974 0
|
BI
《BI那点儿事》数据流转换——透视
原文:《BI那点儿事》数据流转换——透视 这个和T-SQL中的PIVOT和UNPIVOT的作用是一样的。数据透视转换可以将数据规范或使它在报表中更具可读性。 通过透视列值的输入数据,透视转换将规范的数据集转变成规范程度稍低、但更为简洁的版本。
1059 0