申明： 未经许可，禁止以任何形式转载，若要引用，请标注链接地址
全文共计1857字，阅读大概需要3分钟
一、任务描述
本实验任务主要完成基于ubuntu环境的使用kettle采集并处理mysql数据库中的数据的工作。通过完成本实验任务，要求学生熟练掌握使用kettle采集并处理mysql数据库中的数据的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。
二、任务目标
1、掌握使用kettle采集并处理mysql数据库中的数据
三、任务环境
Ubuntu16.04、Java1.8、Kettle7.1
四、任务分析
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。
Kettle组成部分：
Kettle概念模型图：
Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
Transformation（转换）：
Transformation（转换）是由一系列被称之为step（步骤）的逻辑工作的网络。转换本质上是数据流。下图是一个转换的例子，这个转换从文本文件中读取数据，过滤，然后排序，最后将数据加载到数据库。本质上，转换是一组图形化的数据转换配置的逻辑结构，转换的两个相关的主要组成部分是step（步骤）和hops（节点连接），转换文件的扩展名是.ktr。
Jobs（工作）：
Jobs（工作）是基于工作流模型的，协调数据源、执行过程和相关依赖性的ETL活动，Jobs（工作）将功能性和实体过程聚合在了一起，工作由工作节点连接、工作实体和工作设置组成，工作文件的扩展名是.kjb。
五、 任务实施
步骤1、环境准备
右击Ubuntu操作系统桌面，从弹出菜单中选择【Open in Terminal】命令 打开终端。
启动kettle。
图1 启动kettle
开启mysql服务。如图2所示。
图2 开启mysql
步骤2、创建Transformmations
新建一个”Transformmations”(双击Transformmations即可),然后选择”Design”栏,将”Input”下的”Table input”和”Transform”栏下的”Select values”,”Sort rows”,”Unique rows”然后是”Flow”下的”Filter rows”以及”Output”栏下的”Table output”六个图标拖进工作区。按住Shift键，鼠标拖拽”Table input”图标到”Select values”图标上，产生连线。同理其他的线也连上。注意箭头方向。如图3所示
图3 创建Transformmations
设置”Table input”相关内容（双击图表即可）,mysql数据库密码为”root”。如图4-6所示。
图4 设置”Table input”相关内容
图5 设置”Table input”相关内容
图6 设置”Table input”相关内容
设置”Select values”相关内容（双击图表即可）。如图7所示。
图7 设置”Select values”相关内容
设置”Sort rows”相关参数。如图8所示。
图8 设置”Sort rows”
设置”Unique rows”相关参数。如图9所示。
图9 设置”Unique rows”
设置”Filter rows”相关参数。如图10所示。
图10 设置”Filter rows”
设置”Table output”相关参数,双击”Table output”即可，mysql数据库密码为”root”。如图11所示。
图11 设置”Table output”
设置目标表。如图12所示。
图12 设置目标表
设置字段映射,最后点击”OK”完成整个设置。如图13所示。
图13 设置字段映射
步骤3、运行任务
运行，清洗好的数据，批量导入到数据库。如图14-15所示。
图14 运行任务
图15 保存任务
查看运行结果。如图16所示。
图16 查看运行结果
重新打开一个终端,进入mysql,切换到kettleDB数据库,检验记录是否导入。如图17-18所示。
图17 进入数据库
图18 查看表数据
♥ 知识链接
Hop
一个Hop 代表两个步骤之间的一个或者多个数据流。一个Hop 总是代表着两个Job Entry 之间的连接，并且能够被原始的Job Entry 设置，无条件的执行下一个Job Entry，
♥ 温馨提示
Output Stream：一个Output Stream 是离开一个步骤时的行的堆栈。
