无事来学学--Kettle中转换组件使用(上)

简介: 如果想具体看看转换的概念和特点可以点击之前的博客

1、转换是转换里面的第四个分类。


转换属于ETL的T,T就是Transform清洗、转换。ETL三个部分中,T花费时间最长,是一般情况下这部分工作量是整个ETL的2/3。


2、Concat fields


就是多个字段连接起来形成一个新的字段。

网络异常,图片无法展示
|
网络异常,图片无法展示
|


3、 值映射


把字段的一个值映射成其他的值。在数据质量规范上使用非常多,比如很多系统对应性别gender字段的定义不同。

网络异常,图片无法展示
|
网络异常,图片无法展示
|


4、增加常量


在本身的数据流里面添加一列数据,该列的数据都是相同的值。

网络异常,图片无法展示
|

网络异常,图片无法展示
|


5、增加序列


给数据流添加一个序列字段。

网络异常,图片无法展示
|

网络异常,图片无法展示
|


6、字段选择


从数据流中选择字段、改变名称、修改数据类型。

网络异常,图片无法展示
|
网络异常,图片无法展示
|


可以选择要移除的字段。

网络异常,图片无法展示
|
\

网络异常,图片无法展示
|


可以选择要改变的元数据信息。

网络异常,图片无法展示
|

网络异常,图片无法展示
|


7、计算器


一个函数集合来创建新的字段,还可以设置字段是否移除(临时字段)。

网络异常,图片无法展示
|

网络异常,图片无法展示
|


8、剪切字符串


指定输入流字段裁剪的位置剪切出新的字段。

网络异常,图片无法展示
|
网络异常,图片无法展示
|


9、字符串替换


指定搜索内容和替换内容,如果输入流的字段匹配上搜索内容就进行替换生成新字段。

网络异常,图片无法展示
|

网络异常,图片无法展示
|

目录
相关文章
|
6月前
|
机器学习/深度学习 存储 Python
|
6月前
|
SQL
kettle开发篇-参数
kettle开发篇-参数
130 0
|
6月前
|
SQL 前端开发 JavaScript
kettle开发-超好用自定义数据处理组件
kettle开发-超好用自定义数据处理组件
182 0
|
JSON JavaScript 前端开发
python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)
有些 post 的请求参数是 json 格式的,这个前面发送post 请求里面提到过,需要导入 json模块处理。现在企业公司一般常见的接口因为json数据容易处理,所以绝大多数返回数据也是 json 格式的,我们在做判断时候,往往只需要提取其中 几个关键的参数就行,这时候我们就需要 json 来解析返回的数据了。首先来说一下笔者为何要单独写这么一篇,原因是:python 里面 bool 值是 True 和 False,json 里面 bool 值是 true和 false,并且区分大小写,这就尴尬了,明明都是 bool 值。
246 1
python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)
|
机器学习/深度学习 人工智能 自然语言处理
热加载技术:修改Python代码并实时查看结果 ⛵
本文讲解Python热加载技术,以及Reloading工具库的使用。暂停运行的代码,修改补充后重新运行,意味着训练了数个小时的模型参数被舍弃。热加载技术可以解决这个问题。
512 0
热加载技术:修改Python代码并实时查看结果 ⛵
无事来学学--Kettle中转换组件使用(下)
如果想具体看看转换的概念和特点可以点击之前的博客
178 0
|
数据挖掘
无事来学学--Kettle中应用,统计,映射组件的使用
应用组件 转换里面的第五个分类。应用都是一些工具类。
257 0
|
XML 存储 JSON
无事来学学--Kettle中输入,输出组件的使用(一)
CSV文件 一种带有固定格式的文本文件。注意:获取字段的时候可以调整自己的字段类型,格式,满足自己的需求哦。
246 0
|
JSON Oracle 关系型数据库
无事来学学--Kettle中输入,输出组件的使用(二)
CSV文件 一种带有固定格式的文本文件。注意:获取字段的时候可以调整自己的字段类型,格式,满足自己的需求哦。
422 0
|
SQL 数据库
无事来学学--Kettle中输入,输出组件的使用(三)
CSV文件 一种带有固定格式的文本文件。注意:获取字段的时候可以调整自己的字段类型,格式,满足自己的需求哦。
164 0