无事来学学--Kettle中转换组件使用(下)

简介: 如果想具体看看转换的概念和特点可以点击之前的博客

10、字符串操作


去除字符串两端的空格和大小写切换,并生成新的字段。

网络异常,图片无法展示
|

网络异常,图片无法展示
|


11、去除重复记录


去除数据流里面相同的数据行。注意:必须先对数据流进行排序!

网络异常,图片无法展示
|
\

网络异常,图片无法展示
|


12、排序记录


按照指定的字段的升序或降序对数据流排序。

网络异常,图片无法展示
|
网络异常,图片无法展示
|


13、唯一行(哈希值)就是删除数据流重复的行。


注意:唯一行(哈希值)和(排序记录+去除重复记录)效果一样的,但是实现的原理不同!

网络异常,图片无法展示
|
\

唯一行(哈希值)执行的效率会高一些!唯一行哈希值是根据哈希值进行比较的,而去除重复记录是比较相邻两行数据是否一致进行比较的。

网络异常,图片无法展示
|


14、拆分字段


把字段按照分隔符拆分成两个或多个字段 注意:拆分字段后,原字段就不存在于数据流中!

网络异常,图片无法展示
|

网络异常,图片无法展示
|


15、列拆分为多行


把指定分隔符的字段进行拆分为多行。

网络异常,图片无法展示
|

网络异常,图片无法展示
|


16、列转行


如果数据一列有相同的值,按照指定的字段,把多行数据转换为一行数据。去除一些原来的列名,把一列数据变为字段。

网络异常,图片无法展示
|
\

注意:列转行之前数据流必须进行排序!必须使用排序记录图元哦!

网络异常,图片无法展示
|


17、行转列


把数据字段的字段名转换为一列,把数据行变为数据列。

网络异常,图片无法展示
|

网络异常,图片无法展示
|


18、行扁平化


把同一组的多行数据合并成为一行。注意:只有数据流的同类数据数据行记录一致的情况才可使用!数据流必须进行排序,否则结果会不正确!

目录
相关文章
|
6月前
|
机器学习/深度学习 存储 Python
|
6月前
|
SQL
kettle开发篇-参数
kettle开发篇-参数
138 0
|
6月前
|
SQL 前端开发 JavaScript
kettle开发-超好用自定义数据处理组件
kettle开发-超好用自定义数据处理组件
192 0
|
JSON JavaScript 前端开发
python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)
有些 post 的请求参数是 json 格式的,这个前面发送post 请求里面提到过,需要导入 json模块处理。现在企业公司一般常见的接口因为json数据容易处理,所以绝大多数返回数据也是 json 格式的,我们在做判断时候,往往只需要提取其中 几个关键的参数就行,这时候我们就需要 json 来解析返回的数据了。首先来说一下笔者为何要单独写这么一篇,原因是:python 里面 bool 值是 True 和 False,json 里面 bool 值是 true和 false,并且区分大小写,这就尴尬了,明明都是 bool 值。
250 1
python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)
|
数据采集
无事来学学--Kettle中转换组件使用(上)
如果想具体看看转换的概念和特点可以点击之前的博客
160 0
|
数据挖掘
无事来学学--Kettle中应用,统计,映射组件的使用
应用组件 转换里面的第五个分类。应用都是一些工具类。
257 0
|
SQL 数据库
无事来学学--Kettle中输入,输出组件的使用(三)
CSV文件 一种带有固定格式的文本文件。注意:获取字段的时候可以调整自己的字段类型,格式,满足自己的需求哦。
165 0
|
XML 存储 JSON
无事来学学--Kettle中输入,输出组件的使用(一)
CSV文件 一种带有固定格式的文本文件。注意:获取字段的时候可以调整自己的字段类型,格式,满足自己的需求哦。
248 0
|
JSON Oracle 关系型数据库
无事来学学--Kettle中输入,输出组件的使用(二)
CSV文件 一种带有固定格式的文本文件。注意:获取字段的时候可以调整自己的字段类型,格式,满足自己的需求哦。
429 0
|
数据库连接 数据库
无事来学学--Kettle中查询,流程,连接组件的使用(上)
查询组件 查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。
560 0