申明: 未经许可,禁止以任何形式转载,若要引用,请标注链接地址
全文共计2035字,阅读大概需要3分钟
一、任务描述
本实验任务主要完成基于ubuntu环境的使用kettle进行多复合来源数据的采集与关联的工作。通过完成本实验任务,要求学生熟练掌握使用kettle进行多复合来源数据的采集与关联的方法,为后续实验的开展奠定ETL平台基础,也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。
二、任务目标
1、掌握使用kettle进行多复合来源数据的采集与关联
三、任务环境
Ubuntu16.04、Java1.8、Kettle7.1
四、任务分析
Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle组成部分:
Kettle概念模型图:
Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
Transformation(转换):
Transformation(转换)是由一系列被称之为step(步骤)的逻辑工作的网络。转换本质上是数据流。下图是一个转换的例子,这个转换从文本文件中读取数据,过滤,然后排序,最后将数据加载到数据库。本质上,转换是一组图形化的数据转换配置的逻辑结构,转换的两个相关的主要组成部分是step(步骤)和hops(节点连接),转换文件的扩展名是.ktr。
Jobs(工作):
Jobs(工作)是基于工作流模型的,协调数据源、执行过程和相关依赖性的ETL活动,Jobs(工作)将功能性和实体过程聚合在了一起,工作由工作节点连接、工作实体和工作设置组成,工作文件的扩展名是.kjb。
我们的任务是:
1、掌握使用kettle进行多复合来源数据的采集与关联
五、 任务实施
步骤1、环境准备
右击Ubuntu操作系统桌面,从弹出菜单中选择【Open Terminal Here】命令 打开终端。
启动kettle。
图1 启动kettle
开启mysql服务。如图2所示。
图2 开启mysql
步骤2、创建Transformmations
新建一个”Transformmations”(双击Transformmations即可),然后选择”Design”栏,将”Input”下的”Table input”,”Text file input”,”CSV file input”和”Lookup”栏下的”Stream lookup”(拖过去两个),以及”Output”栏下的”Table output”六个图标拖进工作区。按住Shift键,鼠标拖拽”Table input”图标到”Stream lookup”图标上,产生连线。同理其他的线也连上。注意箭头方向。如图3所示
图3 创建Transformmations
设置”Table input”相关内容(双击图表即可)。如图4-6所示。
图4 设置”Table input”相关内容
图5 设置”Table input”相关内容
图6 设置”Table input”相关内容
设置”Text file input”相关内容(双击图表即可)。如图7-9所示。
图7 设置”Text file input”相关内容
图8 设置”Text file input”相关内容
图9 设置”Text file input”相关内容
设置”Stream lookup”相关内容(双击即可)。如图10-11所示。
图10 设置”Stream lookup”
图11 设置完毕
设置”CSV file input”相关内容(双击图表即可)。如图12-13所示。
图12 设置”CSV file input”相关内容
图13 设置”CSV file input”相关内容
设置”Stream lookup 2”相关内容(双击即可)。如图14-15所示。
图14 设置”Stream lookup 2”
图15 设置完毕
设置”Table output”相关参数,双击”Table output”即可,mysql数据库密码为”root”。如图16所示。
图16 设置”Table output”
设置目标表。如图17所示。
图17 设置目标表
设置字段映射,最后点击”OK”完成整个设置。如图18所示。
图18 设置字段映射
步骤3、运行任务
运行,将文件夹中Excel表格,批量导入到数据库。如图19-20所示。
图19 运行任务
图20 保存任务
查看运行结果。如图21所示。
图21 查看运行结果
重新打开一个终端,进入mysql,切换到kettleDB数据库,检验记录是否导入。如图22-23所示。
图22 查看表
图23 查看表数据
♥ 知识链接
ETL的作用整个BI/DW系统由三大部分组成:数据集成、数据仓库和数据集市、多维数据分析。
♥ 温馨提示
ETL是BI/DW的核心和灵魂,按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。