kettle开发篇-参数

简介: kettle开发篇-参数

前言:


昨天我们讲了作业,通过作业我们就能让转换按顺序执行,作业包括作业项、作业跳,通过作业跳来控制作业项是无条件执行,还是当作业项执行结果为True时,怎么执行,为false时怎么执行。今天我们讲下kettle里面的参数。参数是kettle中一个很重要的部分,可以用来传统条件或者过滤条件等。


一、参数


参数对于ETL参数传递是一个很重要的环节,因为参数的传递会涉及到业务数据是如何抽取。 参数分为两种:全局参数和局部参数。

全局参数定义是通过当前用户下.kettle文件夹中的kettle.properties文件来定义。 定义方式是采用键=值对方式来定义,如:startdate=20230101,就说明我们定义了一个startdate的全局参数,对应值为20230101,需要注意的是配置全局变量时需要重启kettle才会生效。  

局部参数 局部参数变量是通过Set Variables与Get Variables方式来设置。 注意:在Set Variables时在当前转换当中不能马上使用,需要在作业中的下一个步骤中使用。

我们引用参数有两种方式:一种是%%变量名%%,一种是${变量名}。 需要注意的是:在SQL中使用变量时需要把“是否替换变量”勾选上,否则无法使变量生效。


二、任务实操


从kettle.properties文件中读取STARTROW和PAGESIZE参数,从t_orders表中获取数据,使用参数传递。

我们的实现过程包括,修改kettle.properties文件,使用变量STARTROW和PAGESIZE的值。 表输入应用STARTROW和PAGESIZE变量,连接文本文件输出或者Excel输出来查看输出结果。 注意我们需要重启后,再执行我们的转换。

对应kettle.properties文件位于.kettle目录下。

引用参数设置

相关文章
|
6月前
kettle开发篇-空操作
kettle开发篇-空操作
122 0
|
6月前
|
调度
kettle开发篇-写日志
kettle开发篇-写日志
430 0
|
6月前
|
Oracle 前端开发 关系型数据库
kettle开发篇-更新
kettle开发篇-更新
183 1
|
29天前
|
Java
ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法)
本文详细介绍了如何在Kettle工具中使用循环传递变量,通过示例展示了如何将movies表数据按月插入到ods_movies表,涉及新建转换、获取变量、作业配置和执行,呈现了一个嵌套作业结构.
73 3
|
16天前
|
数据采集 监控 数据可视化
Kettle的特点是什么?如何使用?
【10月更文挑战第24天】Kettle的特点是什么?如何使用?
41 2
|
29天前
|
SQL 关系型数据库 MySQL
ETL工具 Kettle 中怎么通过变量传参
ETL工具 Kettle 中怎么通过变量传参
23 0
|
3月前
|
SQL 存储 资源调度
实时计算 Flink版操作报错合集之启动项目时报错缺少MySqlValidator类,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
6月前
|
数据库
kettle开发篇-映射
kettle开发篇-映射
153 0
|
数据采集 SQL 关系型数据库
Kettle工具使用及总结
kettle主要用于数据清洗,即常见ETL工具,拥有图形化界面且免费的优点。
506 0
Kettle工具使用及总结