《BI那点儿事》数据流转换——聚合

简介: 原文:《BI那点儿事》数据流转换——聚合聚合转换可以像T-SQL中的函数GROUP BY, Average, Minimum, Maximum, 和 Count一样对数据进行聚合运算。在图中可以看到数据以SampleID分组,对TotalSugar做Average、Maximum、Minimum、Count操作。
原文: 《BI那点儿事》数据流转换——聚合

聚合转换可以像T-SQL中的函数GROUP BY, Average, Minimum, Maximum, 和 Count一样对数据进行聚合运算。在图中可以看到数据以SampleID分组,对TotalSugar做Average、Maximum、Minimum、Count操作。这样产生了4列新的数据,供其他操作。


在聚合操作编辑器Aggregate Transformation Editor,首先选择需要进行聚合操作的列,然后选中的列将会出现在下面的一个表里面在Output Alias列里面输入输出列的别名。最重要的以个设置是在Operation这一列选择聚合操作。它有一些选项。

  •  Group By:将数据按照某列分组
  •  Average:对数据列求和操作
  •  Count:对一组数据中非空行计算行数
  •  Count Distinct:对一组数据中的非空行计算非重复的行数
  •  Minimum:对一组数据中的数字列求最小值
  •  Maximum:对一组数据中的数字列求最大值
  •  Sum:对一组数据中的数字列求和

点击Advanced标签界面,在这个界面可以编辑转换输出。在Advanced界面可以输入聚合计算的名字,产生一个新的列。在Advanced标签界面,最关键的选择项是设置转换时的缓存,使它在一个合适的水平。例如较低水平设置为500000条,中等水平设置为5000000条,较高水平设置为25000000条。也可以使用Number of Keys属性设置具体数值。Auto Extend Factor属性设置转换可以使用的内存量,默认的值是25%,也可以设置其他选项保证RAM占用量。Warn On Division by Zero单选框用来处理求平均值时被除数是0,如果没有选择,转换失败将不会给出任何提示。

 

目录
相关文章
|
BI
《BI那点儿事》数据流转换——审核
原文:《BI那点儿事》数据流转换——审核 审核转换允许对数据流添加审核审核数据,以往使用HIPPA和Sarbanes-Oxley (SOX)时,必须跟踪谁在什么时插入数据,审核转换可以实现这种功能。例如要跟踪那一个task向表里插入数据,可以在审核转换中添加相应的列。
897 0
|
BI
《BI那点儿事》数据流转换——数据转换
原文:《BI那点儿事》数据流转换——数据转换 数据转换执行类似于T-SQL中的函数CONVERT或CAST的功能。数据转换的编辑界面如图,选择需要转换的列,在DataType下拉列表中选择需要的数据类型。Output Alias栏内设置输出时使用的别名。
1035 0
|
BI
《BI那点儿事》数据流转换——字符映射表
原文:《BI那点儿事》数据流转换——字符映射表 特征映射转换如图展示数据流中列的特征,它的编辑界面很简单,只有一个标签界面,点击要进行映射的列,可以选择需要添加新列或需要更新的列。可以在Output Alias列中给原来的列一个别名,选择要进行的操作,可以进行的操作类型有: Byte Rev...
882 0
|
BI
《BI那点儿事》数据流转换——条件性拆分
原文:《BI那点儿事》数据流转换——条件性拆分 根据条件分割数据是一个在数据流中添加复杂逻辑的方法,它允许根据条件将数据输出到其他不同的路径中。例如,可以将TotalSugar< 27.4406的输出到一个路径,TotalSugar >= 27.4406的输出到另一个路径。
711 0
|
存储 BI
《BI那点儿事》数据流转换——派生列
原文:《BI那点儿事》数据流转换——派生列 派生列转换通过对转换输入列应用表达式来创建新列值。 表达式可以包含来自转换输入的变量、函数、运算符和列的任意组合。 结果可作为新列添加,也可作为替换值插入到现有列。
1010 0
|
BI
《BI那点儿事》数据流转换——排序
原文:《BI那点儿事》数据流转换——排序 排序转换允许对数据流中的数据按照某一列进行排序。这是五个常用的转换之一。连接数据源打开编辑界面,编辑这种任务。不想设置为排序列的字段不要选中,默认情况下所有列都会选中。
871 0
|
BI 数据挖掘
《BI那点儿事》数据流转换——百分比抽样、行抽样
原文:《BI那点儿事》数据流转换——百分比抽样、行抽样 百分比抽样和行抽样可以从数据源中随机选择一组数据。这两种task都可以产生两组输出,一组是随机选择的,另一组是没有被选择的。可以将这些选择出的数据发送到开发或者测试服务器上。
924 0
|
BI
《BI那点儿事》数据流转换——逆透视转换
原文:《BI那点儿事》数据流转换——逆透视转换   逆透视转换将来自单个记录中多个列的值扩展为单个列中具有同样值的多个记录,使得非规范的数据集成为较规范的版本。例如,每个客户在列出客户名的数据集中各占一行,在该行的各列中显示购买的产品和数量。
896 0
|
BI
《BI那点儿事》数据流转换——透视
原文:《BI那点儿事》数据流转换——透视 这个和T-SQL中的PIVOT和UNPIVOT的作用是一样的。数据透视转换可以将数据规范或使它在报表中更具可读性。 通过透视列值的输入数据,透视转换将规范的数据集转变成规范程度稍低、但更为简洁的版本。
979 0
|
BI Go 数据库
《BI那点儿事》数据流转换——字词查找转换
原文:《BI那点儿事》数据流转换——字词查找转换 字词查找转换将从转换输入列的文本中提取的字词与引用表中的字词进行匹配,然后计算出查找表中的字词在输入数据集中出现的次数,并将计数与引用表中的此字词一并写入转换输出的列中。
785 0