Kettle的起源

简介:

Kettle起源于十年以前,本世纪初。当时啊,ETL工具千姿百态,比较流行的工具有50个左右,ETL框架数量比工具还要多些。

  根据这些工具的各自起源和功能可以分为以下4种类型,如图所示:

  ■ 快速代码修改(Quick Hacks ): 这类工具主要用于抽取数据和加载文本文件。很多这 类工具现在仍在使用。“hacker”和“hacking”这样的词汇现在成了贬义词。商业智能 本身比较复杂,在很多情况下quick hacks是项目成功与否的关键,而且能够节省时间和成本。这种quick hacks的解决方案主要由咨询公司创造,一般是跟随项目的一次性解决方案。
框架(Frameworks): 通常情况下,当一个商业智能顾问同时做几个相似的项目时, 代码可以在小范围内调整就可以应用到不同的项目上。这样说来,每个咨询公司都有自己的framework,因为这些frameworks帮助构建了ETL程序。而且通过改变参数,就可以完成不同项目的抽取数据、加载、日志、信息捕获、数据库连接等工作。
代码生成器(Code Generators ): 当frameworks上再加一个开发界面作为额外的抽象 层时,就可以基于元数据为某个平台(C、Java、SQL,等等)生成代码了。这种代码生成器的种类很多,有的是生成简单代码,还需要你手工维护代码,有的功能强大的ETL工具可以生成各种代码。这类ETL工具一般也是由一些比较著名的咨询公司开发的。
引擎(Engines ): 随着ETL技术的不断发展,ETL引擎技术出现了,这样就不必再生 成代码。引擎可以执行参数化的可配置的ETL过程,也就是对ETL本身的描述。这样就 避免了生成代码、编译、部署等困难。

 

 

  正是在这样的背景下,Kettle软件的作者,即Matt Caster每天忙于咨询工作,为不同项目不停地修改ETL代码和框架,部署各种ETL工具的代码生成器。

  在2001年,他就有了开发一个自己的ETL工具的想法。


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6906869.html,如需转载请自行联系原作者

相关文章
|
SQL XML JSON
大数据ETL开发之图解Kettle工具(入门到精通)
ETL (Extract-Transform-Load 的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种ETL工具的使用,必不可少。
5414 0
大数据ETL开发之图解Kettle工具(入门到精通)
|
SQL 数据采集 数据库连接
kettle基础概念理解
kettle基础概念理解
133 0
|
XML JavaScript 前端开发
nasal脚本起源与环境搭建(flightgear开源项目)
nasal脚本起源与环境搭建(flightgear开源项目)
288 0
|
XML JSON 大数据
大数据ETL开发之图解Kettle工具
大数据ETL开发之图解Kettle工具
208 0
|
数据采集 Oracle 关系型数据库
Kettle入门(一)
Kettle入门(一)
416 0
Kettle入门(一)
|
数据采集 缓存 数据可视化
无事来学学--Kettle的安装和基本概念了解(下)
什么是ETL? ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少
180 0
|
数据采集 监控 Java
无事来学学--Kettle的安装和基本概念了解(上)
什么是ETL? ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少
388 0
|
关系型数据库 MySQL Java
五十六、Kettle工具的使用
前言:此块内容文字描述效果不佳,故采用看图说话的形式进行阐述 提示:双击图片可以将图片放大进行查看
五十六、Kettle工具的使用
|
大数据 数据挖掘
大数据框架原理简介(2)
大数据框架原理简介(2)
141 0
大数据框架原理简介(2)
|
SQL 大数据 数据建模
大数据框架原理简介(3)
大数据框架原理简介(3)
181 0
大数据框架原理简介(3)
下一篇
无影云桌面