kettle开发篇-行扁平化

简介: kettle开发篇-行扁平化

前言:


前面我们学习了字段的转换,去除重复行,行转列、列转行之类的,今天我们来学习一个行扁平化的操作,看起来有点高级,行扁平化就是把同一组的多行数据合并为一行。需要注意的是,只有数据流的同类数据数据行记录一致的情况才可使用!数据流必须进行排序,否则结果会不正确。


一、行扁平化


这个组件看起来定义有点高级,但是需要特别注意的是,同类数据的记录行数必须一致,如学生信息,包括学生个人信息和学习课程信息。如都是张三,一行是张三的个人,如姓名是张三,年龄20,性别男。一行是学习课程信息,姓名张三,专业课计算机科学与技术,选修课足球。类似李四也是一行个人信息,一行学习课程信息,只有这样的数据才能分组并排序后进行扁平化,扁平化后的效果就是一行显示了张三的个人信息和学习课程信息。


如下图所示,张三的爱好信息,分别存储了两行,扁平化后,整合成一行,效果如图所示,zhnag

行扁平化就是选择扁平化的字段,将他组合成一行,类似前面学习的行转列的效果,具体我们看看实际应用实例吧。

实例:从EXCEL读取数据,把数据进行行扁平处理,存储在EXCEL。


二、最终运行效果


对应转换的包括EXCEL输入、排序记录、行扁平化、EXCEL输出,对应的EXCEL表输入和EXCEL表输出和以前操作一样就不重复展示,关键是介绍我们的行扁平化的操作,行扁平化需要找到关键字段,并指定转换的列名称。

需要注意的是我们需要保持同类数据行一致,并先进行排序,我们完成转换后,运行转换即可看到我们扁平化的效果。

相关文章
|
3月前
|
SQL 前端开发 JavaScript
kettle开发-超好用自定义数据处理组件
kettle开发-超好用自定义数据处理组件
51 0
|
10天前
|
数据可视化 算法 数据挖掘
R如何与Tableau集成分步指南
R如何与Tableau集成分步指南
12 0
|
11月前
|
SQL Oracle 关系型数据库
「集成架构」2020年最好的15个ETL工具(第二部)
「集成架构」2020年最好的15个ETL工具(第二部)
|
数据库 数据格式 Java
|
数据库 缓存 数据库连接
|
Java 数据库连接 数据库
|
XML 数据库 数据格式
|
XML SQL 数据库
|
XML 数据格式