无事来学学--Kettle中查询,流程,连接组件的使用(下)

简介: 查询组件查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。

中止是数据流的终点

如果有数据到这里,将会报错。用来校验数据的时候使用。

操作实例:

网络异常,图片无法展示
|


连接组件


 

连接是转换里面的第八个分类。连接是结果集通过关键字进行连接。

合并记录

是用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。主要用于新旧数据的对比,非常好使的哦!

1)、需要设置的参数:


1.1)、旧数据来源:旧数据来源的步骤。

 

1.2)、新数据来源:新数据来源的步骤。

2)标志字段:

设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。

2.1) "identical"

旧数据和新数据一样。

2.2.)"changed"  

数据发生了变化。

2.3.)"new"

新数据中有而旧数据中没有的记录。

2.4)"deleted"

旧数据中有而新数据中没有的记录。

3)关键字段:

用于定位两个数据源中的同一条记录。

3.1)比较字段

对于两个数据源中的同一条记录中,指定需要比较的字段。

3.2)合并后的数据将包括旧数据来源和新数据来源里的所有数据,对于变化的数据,使用新数据代替旧数据,同时在结果里用一个标示字段,来指定新旧数据的比较结果。

4)、注意:

4.1)、旧数据和新数据需要事先按照关键字段排序。

4.2)、旧数据和新数据要有相同的字段名称。

网络异常,图片无法展示
|
\

网络异常,图片无法展示
|

4.2、记录关联,就是对两个数据流进行笛卡尔积操作。

网络异常,图片无法展示
|
网络异常,图片无法展示
|

4.3、记录集连接就像数据库的左连接、右连接、内连接、外连接。注意:在进行记录集连接之前,应该要对记录集进行排序。

网络异常,图片无法展示
|

目录
相关文章
|
8月前
|
Oracle 前端开发 关系型数据库
kettle开发篇-更新
kettle开发篇-更新
216 1
WRF模式案例运行初体验--飓风示例全过程记录
本文主要记录一下首次学习WRF并运行官网案例的全过程。
WRF模式案例运行初体验--飓风示例全过程记录
|
7月前
|
关系型数据库 MySQL API
实时计算 Flink版操作报错合集之同步MySQL数据到另一个MySQL数据库,第一次同步后源表数据发生变化时目标表没有相应更新,且Web UI中看不到运行的任务,该怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
202 0
|
SQL 存储 缓存
新年迈出Java后台服务器与数据库交互第一步&2022最新通用Java8&jdbc8连接mysql8数据库进行增删改查等基本操作详解(IDEA),jar包导入,图片等文件流,批量操作
新年迈出Java后台服务器与数据库交互第一步&2022最新通用Java8&jdbc8连接mysql8数据库进行增删改查等基本操作详解(IDEA),jar包导入,图片等文件流,批量操作
152 0
新年迈出Java后台服务器与数据库交互第一步&2022最新通用Java8&jdbc8连接mysql8数据库进行增删改查等基本操作详解(IDEA),jar包导入,图片等文件流,批量操作
|
数据库连接 数据库
无事来学学--Kettle中查询,流程,连接组件的使用(上)
查询组件 查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。
569 0
|
数据挖掘
无事来学学--Kettle中应用,统计,映射组件的使用
应用组件 转换里面的第五个分类。应用都是一些工具类。
261 0
|
数据采集
无事来学学--Kettle中转换组件使用(上)
如果想具体看看转换的概念和特点可以点击之前的博客
166 0
无事来学学--Kettle中转换组件使用(下)
如果想具体看看转换的概念和特点可以点击之前的博客
192 0
|
SQL NoSQL 前端开发
前端培训-中级阶段(51)- nodeJS操作,MongoDB,文档CURD操作
前端最基础的就是 HTML+CSS+Javascript。掌握了这三门技术就算入门,但也仅仅是入门,现在前端开发的定义已经远远不止这些。前端小课堂(HTML/CSS/JS),本着提升技术水平,打牢基础知识的中心思想,我们开课啦(每周四)。
137 0
前端培训-中级阶段(51)- nodeJS操作,MongoDB,文档CURD操作
|
关系型数据库 MySQL 数据安全/隐私保护
MySQL基础知识——管理和连接
今天主要给大家讲解MySQL的简单管理与连接
MySQL基础知识——管理和连接

热门文章

最新文章