kettle开发篇-列拆分为多行

简介: kettle开发篇-列拆分为多行

前言:


在前一节,我们学习了拆分字段,即将一个字段的值拆分为多个字段值进行存储,相当于我们从一列字段拆分为多列了,如本来是一个数据列的name通过我们的拆分,拆分为firstname和lastname两列,但原来的name列不在数据流之中了。今天我们来学习一个相对应的操作怎么将一行数据拆分为多行。


一、列拆分为多行


实例,如我们将一个信息录入为1行,其中包括ID、name、age、sex、hobby,其中ID、name、age、sex均只有一个值,只有我了的爱好hobby是通过分号;分隔的,其中包括eat;basketball;football;sing等四个爱好,因此我们将hobby拆分后就得到了四条记录即。ID、name、age、sex、hobby1(eat),ID、name、age、sex、hobby1(basketball),ID、name、age、sex、hobby1(football),ID、name、age、sex、hobby1(sing)如下图所示。

列拆分为多行操作实例,从列拆分组件操作界面我们可以看到列拆分为多行组件,主要包括要拆分的字段、分隔符、新字段名。新字段名需手工录入。

最终我们的转换包括EXCEL输入、列拆分为多行、EXCEL输出。

其中EXCEL输入还是和前面说的一样,选择要处理的文件位置,添加文件位置、或者对应的输入字段。我们重点来讲下列拆分为多行,如图所示我们需要选择要拆分的字段,对应的分隔符,分隔符默认为;如果你的数据不是;的话需要手工输入处理,然后就是新字段名的名字。

从EXCEL输出中我们可以看到获取字段时会带出原来所有的字段并带出新增的字段。这和拆分字段不同的是会保存原有的数据。最后我们点击运行就可以看出输出结果为4行。这个组件还是非常有用的,如果我们需要将一个列的数据拆分其实在SQ里面处理也是蛮复杂的,而且数据量大了性能也不高,因此当我们遇到这种需求时,可以考虑采用列拆分为多行来处理哦,轻松处理你复杂的数据需求。

相关文章
|
6月前
|
数据库
kettle开发篇-合并记录
kettle开发篇-合并记录
225 0
|
SQL Oracle 关系型数据库
hive中将单行拆分成多行总结
hive 中实现拆分字段到多行
8478 0
|
5月前
|
SQL 数据采集 DataWorks
DataWorks产品使用合集之如何把两列字符串拼接的数据各自拆分成多行并组合
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
38 0
|
6月前
|
数据库
kettle开发篇-分组
kettle开发篇-分组
150 0
|
6月前
kettle开发篇-行转列
kettle开发篇-行转列
352 0
|
6月前
|
存储
kettle开发篇-列转行
kettle开发篇-列转行
233 0
|
6月前
|
数据库
kettle开发篇-映射
kettle开发篇-映射
145 0
|
数据采集 运维 Ubuntu
使用kettle进行数据的多表关联
使用kettle进行数据的多表关联
|
Oracle 关系型数据库 数据库
Kettle拆分时间段循环进行导入数据
Kettle拆分时间段循环进行导入数据
【SQL开发实战技巧】系列(二十五):数仓报表场景☞结果集中的重复数据只显示一次以及计算部门薪资差异高效的写法以及如何对数据进行快速分组
本篇文章讲解的主要内容是:***如何使用lag函数让结果集重复数据只显示一次、用行转列pivot写法优化部门之间计算工资差异类似需求、如何通过ceil函数对已有数据进行分组打印、放假安排团队分组值班,如何通过ntile()over(order by )快速进行人员分组***
【SQL开发实战技巧】系列(二十五):数仓报表场景☞结果集中的重复数据只显示一次以及计算部门薪资差异高效的写法以及如何对数据进行快速分组