Kettle资源库运行方式(二)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Kettle资源库运行方式(二)

kettle资源库

资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。

资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。


1.ketle资源库元数据


• 资源库

   资源库包括文件资源库、数据库资源库

   Kettle 4.0 以后资源库类型可以插件扩展

 • XML 文件

   .ktr 转换文件的XML的根节点必须是

.    kjb 作业XML的根节点是


2.kettle资源库类型


数据库资源库:

   • 把 Kettle 的元数据串行化到数据库中,如 R_TRANSFORMATION 表保

  存了Kettle 转换的名称、描述等属性。

   • 在Spoon 里创建和升级数据库资源库

 文件资源库:

   在文件的基础上的封装,实现了 org.pentaho.di.repository.Repository 接口。

   是Kettle 4.0 以后版本里增加的资源库类型

 不使用资源库:

   直接保存为ktr 或 kjb 文件。


3.资源库操作


新建资源库:


kettle7.0后新建方式略有不同,新建资源库在右上角->connect,


详细新建图文步骤,

   参考:https://blog.csdn.net/m0_37979608/article/details/77096201


使用默认的admin/admin即可登陆到资源库!


如果使用中文进行了资源库命名,将会出现资源库无法新建的问题。解决方案,参考:https://blog.csdn.net/liuwenbiao1203/article/details/77579436


导入/导出资源库:


导航栏->工具->导入/导出资源库,或者探索资源库进行指定目录的导出,导出为.xml文件即可!

kettle运行方式

运行方式主要分为:图形化、命令行、API

图形界面:Spoon

 命令行:Pan、Kitchen

 API:Kettle Java API 嵌入到其他应用


1.Spoon


本地运行:前面的都是采用本地运行,直接点击运行按钮进行运行的,不再赘述


远程:Carte,


• Carte 是内嵌 Jetty 的 http server。

     • Carte执行命令 carte localhost 8080


需要现在服务器上运行命令,格式为carte ip 端口 (端口可以随意,只要不冲突即可)

2.命令行

主要有Pan和Kitchen,但是由于项目都是以作业为主,所以还是Kitchen使用的更多

参数名列表:
/rep : 资源库名称
/user : 资源库用户名
/pass : 资源库密码
/trans : 要启动的转换名称
/dir : 目录(不要忘了前缀 /)
/file : 要启动的文件名(转换文件)
/level : 日志级别 (Error, Nothing, Minimal, Basic , Detailed, Debug, Rowlevel)
/logfile : 要写入的日志文件
/listdir : 列出资源库里的目录
/listtrans : 列出指定目录下的转换
/listrep : 列出可用资源库
/exprep : 将资源库里的所有对象导出到 XML 文件中
/norep : 不要将日志写到资源库中
/safemode : 安全模式下运行: 有额外的检查
/version : 显示转换的版本,校订和创建日期
/param : 设置参数,参数格式<NAME>=<VALUE>,例如-param:FOO=bar
/listparam: 列出转换里已经设置好的参数。
/maxloglines:内存中保存日志的最大日志行数
/maxlogtimeout:内存中保存日志的最长时间
Pan
/rep : 资源库名称
/user : 资源库用户名
/pass : 资源库密码
/job : 要启动的作业名称
/dir : 目录(不要忘了前缀 /)
/file : 要启动的文件名(转换文件)
/level : 日志级别 (Error, Nothing, Minimal, Basic , Detailed, Debug, Rowlevel)
/logfile : 要写入的日志文件
/listdir : 列出资源库里的目录
/listjobs : 列出指定目录下的作业
/listrep : 列出可用资源库
/exprep : 将资源库里的所有对象导出到 XML 文件中
/norep : 不要将日志写到资源库中
/safemode : 安全模式下运行: 有额外的检查
/version : 显示转换的版本,校订和创建日期
/param : 设置参数,参数格式<NAME>=<VALUE>,例如-param:FOO=bar
/listparam: 列出转换里已经设置好的参数
/export: 把作业依赖的所有资源导出到一个zip 文件里
/maxloglines:内存中保存日志的最大日志行数
/maxlogtimeout:内存中保存日志的最长时间
Kitchen

kettle内置变量

参考:https://blog.csdn.net/qq_22073849/article/details/70139584

20190505103610158.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4月前
kettle开发篇-空操作
kettle开发篇-空操作
83 0
|
4月前
|
调度
kettle开发篇-写日志
kettle开发篇-写日志
292 0
|
4月前
|
JavaScript 前端开发 Java
kettle开发篇-作业
kettle开发篇-作业
71 0
|
4月前
|
SQL
kettle开发篇-参数
kettle开发篇-参数
86 0
|
3月前
|
安全 BI 数据库
数据库大作业——基于qt开发的图书管理系统 (一)环境的配置与项目需求的分析
数据库大作业——基于qt开发的图书管理系统 (一)环境的配置与项目需求的分析
|
4月前
|
监控 Java 数据库连接
kettle开发-远程执行作业
kettle开发-远程执行作业
189 0
|
XML 监控 Java
部署jar包windows服务工具
某个周末一个线上项目因为服务器自动重启导致了系统挂了,我们是通过jenkins部署的jar包所以需要手动重启项目,解决问题后准备调换部署方式让项目随系统自动启动,试用tomcat后发现启动慢,并且日常开发springboot都是使用内置tomcat启动,如果要保持和部署方式保持一致(避免本地代码执行和部署方式不一致导致的bug),需要配置外部tomcat比较麻烦,所以决定还是以java -jar命令方式启动并注册为window服务
126 0
|
存储 Linux 数据库
kettle常用指令
kettle常用指令
176 0
|
安全 Linux Go
Brename - 一个便捷跨平台批重命名文件/目录的命令行小工具
brename是用Go编程语言实现的,支持跨平台Linxu和Windows用户使用。
121 0
|
Oracle Java 关系型数据库
Kettle 常见问题解决方案
JDK版本大于1.8时非常不稳定,表现在无法新建连接DB数据库,会出现无响应。