kettle开发篇-列转行

简介: kettle开发篇-列转行

前言:


前面我们讲到了将一个字段拆分为多个字段,知道我们字段的横向分裂,从一个字段分为两个字段。学习了列拆分为多行,知道了怎么将一行的值拆分为多行,今天我们来学习一个列的高级操作,列传行,对于初学者来说,列传行也是一个比较高级的操作了,下面我们来看看列转行的语法和使用场景吧。


一、列转行


列转行就是如果数据一列有相同的值,按照指定的止损,把多行数据转换为一行数据。列转行以后会增加许多新的列,和拆分字段一样,原来被转换的列就会消失了。这就是列转行的原理。如下图所示,有七行数据分别代表张三周一至周日的工作小时,我们想实现的最终效果是,其中的星期被拆分为7列分别来存储工作小时。这样七行数据,最后就只剩下一行数据了。

需要注意的是列转行在转换前也需要进行排序操作,具体我们可以看到列转行主要包括关键字段即我们需要转换的字段,如星期,分组字段是我们相同的主字段,如姓名,目标字段是生成的字段名,数据字段是工作小时,即是目标字段的存储值。


二、任务


从EXCEL读取数据,按照姓名进行分组,把星期、工作小时从列转为行,并保存在EXCEL中。

最终我们的转换包括EXCEL输入、列转行、EXCEL输出。其中EXCEL输入和之前一样选择输入的EXCEL表格位置,并获取字段,重点阐述列转行,首先指定关键字段即我们需要转换的数据列,在我们的任务中就是星期字段,然后就是我们分组的字段即姓名,需要注意的是我们生成的新字段,根据数据来,数据中是周一至周日因此我们的列转行新字段名也分别是周一至周日。然后通过关键数据来查找。

需要注意的是我们做这个需求时,必须先排序字段值再进行列转行。好的,快去试试吧。

相关文章
|
存储
kettle开发篇-行扁平化
kettle开发篇-行扁平化
272 0
|
调度
kettle开发篇-写日志
kettle开发篇-写日志
994 0
|
数据库
kettle开发篇-合并记录
kettle开发篇-合并记录
623 0
|
JavaScript 前端开发 数据库
Kettle使用脚本实现循环(十)
Kettle使用脚本实现循环(十)
1846 0
Kettle使用脚本实现循环(十)
|
SQL 存储 关系型数据库
DataX - 全量数据同步工具(2)
DataX - 全量数据同步工具
|
11月前
|
Java
ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法)
本文详细介绍了如何在Kettle工具中使用循环传递变量,通过示例展示了如何将movies表数据按月插入到ods_movies表,涉及新建转换、获取变量、作业配置和执行,呈现了一个嵌套作业结构.
1498 3
|
9月前
|
存储 SQL 分布式计算
大数据时代的引擎:大数据架构随记
大数据架构通常分为四层:数据采集层、数据存储层、数据计算层和数据应用层。数据采集层负责从各种源采集、清洗和转换数据,常用技术包括Flume、Sqoop和Logstash+Filebeat。数据存储层管理数据的持久性和组织,常用技术有Hadoop HDFS、HBase和Elasticsearch。数据计算层处理大规模数据集,支持离线和在线计算,如Spark SQL、Flink等。数据应用层将结果可视化或提供给第三方应用,常用工具为Tableau、Zeppelin和Superset。
3868 8
|
10月前
|
监控 大数据 API
可以调度kettle的工具有哪些?都有什么特点?如何选择?
【10月更文挑战第25天】可以调度kettle的工具有哪些?都有什么特点?如何选择?
705 5
kettle开发篇-行转列
kettle开发篇-行转列
868 0