数据对接—kettle使用之一

简介:

需求:

      你有没有遇到过不同数据库之间数据对接的需求,比如:mysql数据库里的数据要保存到oracle数据库里,或者是excel里的数据要保存到数据库里,或者是数据库的数据要定时的保存到文件中等等数据对接的问题。下面就开始介绍一款软件来帮助我们实现各种数据对接的问题,这将是一个系列的博客,这篇只是个开始,后面将陆续的通过实例来讲解软件如何使用,当然不可能面面俱到,很多功能还需要我们不断的挖掘和完善

工具介绍:

      说了这么多这个软件到底是什么呢?就是一个我们中文意思是水壶的英文单词kettle,当然它的原意不是这样的,它是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写,这意味着它被设计用来帮助你实现你的ETTL需要:抽取、转换、装入和加载数据。Kettle也叫 PDI,在2006年 Kettle 加入了开源的 BI 组织 Pentaho, 正式命名为PDI,英文全称为Pentaho Data Integeration。这个工具也正如我们中文翻译为水壶那样,它希望把所有需要的数据放到一个水壶里,然后以流的方式流出来。

功能介绍:

      kettle可以创建两种脚本文件,一种是transformation(*.ktr),就是任务,比如抽取数据,合并修改后再存入数据库什么的。 另一种是job(*.kjb),就是用来调用transformation的,类似oracle里的job调用存储过程。如下面的图分别是transformation脚本和job脚本。


      上面两张图是两种脚本,通过第二种脚本调用第一种脚本我们可以配置定时任务,可以指定时间让系统自动执行数据抓取以及转换,是不是很强大的工具,不着急,后面才是真正的开始,看看它到底能有多大本事。

运行环境:

      要运行kettle工具必须安装Sun公司的JAVA运行环境,kettle 4.2.0需要运行java 1.6或者更高版本,Kettle的下载可以到http://kettle.pentaho.org/取得最新版本。目前应该是到kettle 4.4.0版本了,kettle不需要安装,安装好java环境后,在操作系统环境变量path中配置jre路径,把kettle工具压缩包解压后可直接使用,由于它是重java编写,所以它可以跨平台使用。

如何启动:

      Spoon是一个图形用户界面,它允许你运行转换或者任务,其中转换是用Pan工具来运行,任务是用Kitchen来运行。Pan是一个数据转换引擎,它可以执行很多功能,例如:从不同的数据源读取、操作和写入数据。Kitchen是一个可以运行利用XML或数据资源库描述的任务。通常任务是在规定的时间间隔内用批处理的模式自动运行。

      下面是在不同的平台上运行Spoon所支持的脚本:

         Spoon.bat:在windows 平台运行Spoon。

         Spoon.sh:在 Linux、Apple OSX、Solaris 平台运行 Spoon。

这篇就介绍到这里,下一篇我们进入实例讲解…

目录
相关文章
|
Oracle 前端开发 关系型数据库
kettle开发篇-更新
kettle开发篇-更新
586 1
|
IDE 开发工具 Python
PyCharm IDEA 安装【Chinese(Simplified)Language Pack/中文语言包】插件汉化出错
安装【Chinese(Simplified)Language Pack/中文语言包】插件时报【Plugin Installation】错误
8681 1
PyCharm IDEA 安装【Chinese(Simplified)Language Pack/中文语言包】插件汉化出错
|
11月前
|
人工智能 机器人 API
AppFlow:无代码部署Dify作为钉钉智能机器人
本文介绍如何通过计算巢AppFlow完成Dify的无代码部署,并将其配置到钉钉中作为智能机器人使用。首先,在钉钉开放平台创建应用,获取Client ID和Client Secret。接着,创建消息卡片模板并授予应用发送权限。然后,使用AppFlow模板创建连接流,配置Dify鉴权凭证及钉钉连接凭证,完成连接流的发布。最后,在钉钉应用中配置机器人,发布应用版本,实现与Dify应用的对话功能。
2278 7
AppFlow:无代码部署Dify作为钉钉智能机器人
|
存储 安全 网络协议
信息安全管理与评估赛题第4套
信息安全管理与评估赛题第4套
998 0
|
机器学习/深度学习 传感器 数据采集
使用Python实现深度学习模型:智能设备故障预测与维护
【10月更文挑战第10天】 使用Python实现深度学习模型:智能设备故障预测与维护
1775 2
|
人工智能 安全 芯片
【通义】AI视界|谷歌 Tensor G5 芯片揭秘:1+5+2 八核 CPU,支持光线追踪
本文由【通义】自动生成,涵盖黄仁勋宣布台积电协助修复Blackwell AI芯片设计缺陷、苹果分阶段推出Apple Intelligence、OpenAI保守派老将辞职、英伟达深化与印度合作推出印地语AI模型,以及谷歌Tensor G5芯片支持光线追踪等最新科技资讯。点击链接或扫描二维码,获取更多精彩内容。
|
机器学习/深度学习 算法 Python
从零开始:构建你的第一个机器学习模型
【7月更文第16天】在机器学习的浩瀚宇宙中,迈出第一步总是充满挑战又激动人心的。本文旨在通过一个简单而经典的案例——线性回归,引领你动手构建首个机器学习模型,让你从零开始,逐步掌握模型构建的基本流程。
505 3
|
机器学习/深度学习 人工智能 搜索推荐
AI技术在情感识别方面有哪些具体应用
AI在元宇宙学习中扮演关键角色,通过数据收集分析用户习惯、兴趣,提供个性化推荐。情感识别调整教学策略,智能评估反馈学习效果,实时互动解答问题,自适应学习系统匹配个体需求。同时,注重隐私安全保护,打造高效、精准、个性化的学习环境。
|
JSON 移动开发 JavaScript
支付宝动态化卡片技术研发工具 ACT 的演进之路 | Cube 卡片技术栈
支付宝动态化卡片技术研发工具 ACT 的演进之路 | Cube 卡片技术栈
559 0