Kettle资源库运行方式(二)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Kettle资源库运行方式(二)

kettle资源库

资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。

资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。


1.ketle资源库元数据


• 资源库

   资源库包括文件资源库、数据库资源库

   Kettle 4.0 以后资源库类型可以插件扩展

 • XML 文件

   .ktr 转换文件的XML的根节点必须是

.    kjb 作业XML的根节点是


2.kettle资源库类型


数据库资源库:

   • 把 Kettle 的元数据串行化到数据库中,如 R_TRANSFORMATION 表保

  存了Kettle 转换的名称、描述等属性。

   • 在Spoon 里创建和升级数据库资源库

 文件资源库:

   在文件的基础上的封装,实现了 org.pentaho.di.repository.Repository 接口。

   是Kettle 4.0 以后版本里增加的资源库类型

 不使用资源库:

   直接保存为ktr 或 kjb 文件。


3.资源库操作


新建资源库:


kettle7.0后新建方式略有不同,新建资源库在右上角->connect,


详细新建图文步骤,

   参考:https://blog.csdn.net/m0_37979608/article/details/77096201


使用默认的admin/admin即可登陆到资源库!


如果使用中文进行了资源库命名,将会出现资源库无法新建的问题。解决方案,参考:https://blog.csdn.net/liuwenbiao1203/article/details/77579436


导入/导出资源库:


导航栏->工具->导入/导出资源库,或者探索资源库进行指定目录的导出,导出为.xml文件即可!

kettle运行方式

运行方式主要分为:图形化、命令行、API

图形界面:Spoon

 命令行:Pan、Kitchen

 API:Kettle Java API 嵌入到其他应用


1.Spoon


本地运行:前面的都是采用本地运行,直接点击运行按钮进行运行的,不再赘述


远程:Carte,


• Carte 是内嵌 Jetty 的 http server。

     • Carte执行命令 carte localhost 8080


需要现在服务器上运行命令,格式为carte ip 端口 (端口可以随意,只要不冲突即可)

2.命令行

主要有Pan和Kitchen,但是由于项目都是以作业为主,所以还是Kitchen使用的更多

参数名列表:
/rep : 资源库名称
/user : 资源库用户名
/pass : 资源库密码
/trans : 要启动的转换名称
/dir : 目录(不要忘了前缀 /)
/file : 要启动的文件名(转换文件)
/level : 日志级别 (Error, Nothing, Minimal, Basic , Detailed, Debug, Rowlevel)
/logfile : 要写入的日志文件
/listdir : 列出资源库里的目录
/listtrans : 列出指定目录下的转换
/listrep : 列出可用资源库
/exprep : 将资源库里的所有对象导出到 XML 文件中
/norep : 不要将日志写到资源库中
/safemode : 安全模式下运行: 有额外的检查
/version : 显示转换的版本,校订和创建日期
/param : 设置参数,参数格式<NAME>=<VALUE>,例如-param:FOO=bar
/listparam: 列出转换里已经设置好的参数。
/maxloglines:内存中保存日志的最大日志行数
/maxlogtimeout:内存中保存日志的最长时间
Pan
/rep : 资源库名称
/user : 资源库用户名
/pass : 资源库密码
/job : 要启动的作业名称
/dir : 目录(不要忘了前缀 /)
/file : 要启动的文件名(转换文件)
/level : 日志级别 (Error, Nothing, Minimal, Basic , Detailed, Debug, Rowlevel)
/logfile : 要写入的日志文件
/listdir : 列出资源库里的目录
/listjobs : 列出指定目录下的作业
/listrep : 列出可用资源库
/exprep : 将资源库里的所有对象导出到 XML 文件中
/norep : 不要将日志写到资源库中
/safemode : 安全模式下运行: 有额外的检查
/version : 显示转换的版本,校订和创建日期
/param : 设置参数,参数格式<NAME>=<VALUE>,例如-param:FOO=bar
/listparam: 列出转换里已经设置好的参数
/export: 把作业依赖的所有资源导出到一个zip 文件里
/maxloglines:内存中保存日志的最大日志行数
/maxlogtimeout:内存中保存日志的最长时间
Kitchen

kettle内置变量

参考:https://blog.csdn.net/qq_22073849/article/details/70139584

20190505103610158.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
6月前
kettle开发篇-空操作
kettle开发篇-空操作
122 0
|
6月前
|
SQL
kettle开发篇-参数
kettle开发篇-参数
133 0
|
6月前
|
监控 Java 数据库连接
kettle开发-远程执行作业
kettle开发-远程执行作业
279 0
|
数据采集 Java 关系型数据库
企业实战(20)ETL数据库迁移工具Kettle的安装配置详解
企业实战(20)ETL数据库迁移工具Kettle的安装配置详解
486 0
|
安全 Linux Go
Brename - 一个便捷跨平台批重命名文件/目录的命令行小工具
brename是用Go编程语言实现的,支持跨平台Linxu和Windows用户使用。
139 0
|
存储 Linux 数据库
kettle常用指令
kettle常用指令
196 0
|
SQL Oracle 关系型数据库
「集成架构」2020年最好的15个ETL工具(第二部)
「集成架构」2020年最好的15个ETL工具(第二部)
|
Oracle Java 关系型数据库
Kettle 常见问题解决方案
JDK版本大于1.8时非常不稳定,表现在无法新建连接DB数据库,会出现无响应。
|
存储 关系型数据库 数据库连接
|
数据采集 SQL 关系型数据库
Kettle工具使用及总结
kettle主要用于数据清洗,即常见ETL工具,拥有图形化界面且免费的优点。
506 0
Kettle工具使用及总结