无事来学学--Kettle中查询,流程,连接组件的使用(下)

简介: 查询组件查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。

中止是数据流的终点

如果有数据到这里,将会报错。用来校验数据的时候使用。

操作实例:

网络异常,图片无法展示
|


连接组件


 

连接是转换里面的第八个分类。连接是结果集通过关键字进行连接。

合并记录

是用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。主要用于新旧数据的对比,非常好使的哦!

1)、需要设置的参数:


1.1)、旧数据来源:旧数据来源的步骤。

 

1.2)、新数据来源:新数据来源的步骤。

2)标志字段:

设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。

2.1) "identical"

旧数据和新数据一样。

2.2.)"changed"  

数据发生了变化。

2.3.)"new"

新数据中有而旧数据中没有的记录。

2.4)"deleted"

旧数据中有而新数据中没有的记录。

3)关键字段:

用于定位两个数据源中的同一条记录。

3.1)比较字段

对于两个数据源中的同一条记录中,指定需要比较的字段。

3.2)合并后的数据将包括旧数据来源和新数据来源里的所有数据,对于变化的数据,使用新数据代替旧数据,同时在结果里用一个标示字段,来指定新旧数据的比较结果。

4)、注意:

4.1)、旧数据和新数据需要事先按照关键字段排序。

4.2)、旧数据和新数据要有相同的字段名称。

网络异常,图片无法展示
|
\

网络异常,图片无法展示
|

4.2、记录关联,就是对两个数据流进行笛卡尔积操作。

网络异常,图片无法展示
|
网络异常,图片无法展示
|

4.3、记录集连接就像数据库的左连接、右连接、内连接、外连接。注意:在进行记录集连接之前,应该要对记录集进行排序。

网络异常,图片无法展示
|

目录
相关文章
|
6月前
|
DataWorks 关系型数据库 MySQL
DataWorks产品使用合集之用脚本的方式同步数据到MySQL,怎么指定列作为目标表为唯一行
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
6月前
|
安全 BI 数据库
数据库大作业——基于qt开发的图书管理系统 (一)环境的配置与项目需求的分析
数据库大作业——基于qt开发的图书管理系统 (一)环境的配置与项目需求的分析
108 0
|
6月前
|
关系型数据库 MySQL API
实时计算 Flink版操作报错合集之同步MySQL数据到另一个MySQL数据库,第一次同步后源表数据发生变化时目标表没有相应更新,且Web UI中看不到运行的任务,该怎么解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
191 0
|
SQL 开发框架 .NET
10分钟系列:NetCore3.1+EFCore三步快速完成数据库交互
10分钟系列:NetCore3.1+EFCore三步快速完成数据库交互
|
SQL 关系型数据库 MySQL
数据库学习-复习作业示例(电子商城项目)【带源码】
数据库电子商城项目示例,包含源码,清楚明了。
118 1
数据库学习-复习作业示例(电子商城项目)【带源码】
|
SQL 存储 缓存
新年迈出Java后台服务器与数据库交互第一步&2022最新通用Java8&jdbc8连接mysql8数据库进行增删改查等基本操作详解(IDEA),jar包导入,图片等文件流,批量操作
新年迈出Java后台服务器与数据库交互第一步&2022最新通用Java8&jdbc8连接mysql8数据库进行增删改查等基本操作详解(IDEA),jar包导入,图片等文件流,批量操作
149 0
新年迈出Java后台服务器与数据库交互第一步&2022最新通用Java8&jdbc8连接mysql8数据库进行增删改查等基本操作详解(IDEA),jar包导入,图片等文件流,批量操作
|
存储 SQL 关系型数据库
数据库学习-复习作业示例(工厂项目)【带源码】
MySQL数据库 “复习习题” 示例,包含源码,能建立起对于数据库的基本概念
221 0
数据库学习-复习作业示例(工厂项目)【带源码】
|
SQL 分布式计算 前端开发
架构组件&查询处理流程--笔记总结 | 学习笔记
快速学习 架构组件&查询处理流程--笔记总结
|
数据库连接 数据库
无事来学学--Kettle中查询,流程,连接组件的使用(上)
查询组件 查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。
561 0
|
数据挖掘
无事来学学--Kettle中应用,统计,映射组件的使用
应用组件 转换里面的第五个分类。应用都是一些工具类。
257 0