kettle开发篇-流查询

简介: kettle开发篇-流查询

前言:


昨天我们讲了数据库相关操作,数据库连接来实现两个库的跨库查询,对应复杂的跨库查询通过数据库连接整合到一块后,就像是在一个数据库里面操作,今天我们来学习流查询,流查询主要用于在查询前把数据加载到内存中,并且只能进行等值查询。


一、流查询


流查询在查询前把数据加载到内存中,并且只能进行等值查询。

流查询的操作包括指定数据源,即我们将数据进行流查询的数据源头,如下图所示流查询的数据源是我们的Excel输入-departments,然后我们还需要指定我们进行流查询匹配的字段,即我们进行等值查询的字段,depid和id。最后我们指定我们需要返回的字段,即depname 来接收我们流查询的值。  


二、应用实例


今天我们的任务是从EXCEL读取employess和departments的数据,根据depid来查询depname,把数据保存到Excel。 为了实现这个需求,我们需要用到两个EXCEL的表输入,分别为EXCEL表输入employess、EXCEL表输入departments,流查询将输入的employess、departments数据进行等值比较再输出至EXCEL。具体转换如下图所示。

对应EXCEL表输入分为两个, 操作和以前一致,只是分别读取departments和employess的数据。我们接下来重点讲下流查询操作,需要注意的是因为我们要输出depname因此我们在流查询步骤选择时,我们选择departments,然后指定depid和id关联,最后输出我们的匹配dep_name。其实有点数据库基础的朋友可以将流查询理解为数据库的内连接查询,这样是不是瞬间就理解。只是这个内连接,可以连接任何的数据流。

相关文章
|
数据库
kettle开发篇-合并记录
kettle开发篇-合并记录
1353 0
|
数据库连接 数据库
kettle开发篇-数据库查询
kettle开发篇-数据库查询
730 0
|
数据库
kettle开发篇-记录集连接
kettle开发篇-记录集连接
586 0
|
数据采集 数据挖掘
kettle开发-数据清洗之字符串替换
kettle开发-数据清洗之字符串替换
894 2
|
调度
kettle开发篇-写日志
kettle开发篇-写日志
1415 0
kettle开发篇-参数
kettle开发篇-参数
608 0
|
JavaScript 前端开发 Java
kettle开发篇-作业
kettle开发篇-作业
390 0
|
JavaScript 前端开发 数据库
Kettle使用脚本实现循环(十)
Kettle使用脚本实现循环(十)
2289 0
Kettle使用脚本实现循环(十)
|
Java
ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法)
本文详细介绍了如何在Kettle工具中使用循环传递变量,通过示例展示了如何将movies表数据按月插入到ods_movies表,涉及新建转换、获取变量、作业配置和执行,呈现了一个嵌套作业结构.
2603 3