1 可视化ETL工具-Kettle入门
1.1 Kettle介绍
对于企业或行业应用来说，经常会遇到各种数据的处理，转换，迁移，掌握一种etl工具的使用，必不可少，这里要学习的ETL工具是——Kettle。
- Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装
- Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出
- Kettle允许管理来自不同数据库的数据，提供一个图形化的用户环境来描述想做什么，无需关心怎么做
大数据岗位需求
1.2 Kettle安装、配置
环境要求：
- 安装、配置好JDK
1、下载Kettle
资料\安装包\pdi-ce-8.2.0.0-342.zip
2、解压Kettle
| 解压后目录 |
 |
3、双击spoon.bat 启动spoon
| 启动脚本 |
 |
 |
1.2.1 Kettle入门案例
需求：
- 把数据从CSV文件（ketttle测试数据\用户数据源\user.csv）抽取到Excel文件
数据源：
实现步骤：
1、在Kettle中新建转换
2、拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件
3、配置CSV输入组件、Excel输出组件
具体实现：
1、新建转换
| 新建转换 |
 |
2、拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件
| 组件架构图 |
 |
3、配置CSV输入组件
- 选择要进行导入的CSV数据源
- 点击 「获取字段」，读取CSV中的列
- 点击 「预览」，浏览CSV中的数据
4、配置Excel组件
| 指定输出Excel文件的位置 |
 |
5、点击 三角形 箭头执行
| 执行 |
 |
1.1.2 Kettle数据流结构图
| kettle数据流结构图 |
 |
2 Kettle输入/输出组件
2.1 输入组件
2.1.1 JSON数据文件输入
需求：
- 将
资料\kettle测试数据\用户数据源\user.json数据文件，通过Kettle，抽取到Excel中
| json数据格式 |
 |
- 操作步骤：
1、新建转换
2、拽入 JSON input组件、Microsoft Excel输出组件、并连接两个组件
| 组件架构图 |
 |
3、配置 JSON input 组件
| ① 指定JSON文件数据源 |
 |
② 选择 JSON 字段 |
 |
|
| 3、配置 Excel 输出 组件 |
| 
|
5、启动执行
2.1.2 表输入
需求：
- 将MySQL数据库中的 user 表中的数据抽取到Excel文件中
环境准备：
一、Kettle整合MySQL数据库
1、将资料中的 MySQL jdbc 驱动包导入到 pdi-ce-8.2.0.0-342\data-integration\lib 中
2、重启 Kettle
二、MySQL建库
1、导入 资料\kettle测试数据\用户数据源\test_t_user.sql 到 MySQL数据库中
| 准备测试数据源 |
 |
实现步骤：
1、拉动 输入/表输入 、输出/Excel输出 组件、连接两个组件
2、配置表输入
3、配置Excel输出组件
具体操作：
1、拉动 输入/表输入 、输出/Excel输出 组件、连接两个组件
2、配置表输入
2.1 新建数据库连接
| kettle新建数据库连接 |
 |
2.2 选择 t_user 表，并获取SQL查询语句
| 编写sql语句 |
 |
2.3 预览数据
| 预览数据 |
 |
注意：创建一个共享的数据库连接操作步骤
| 主对象树–》DB连接 |
 |
| 新建连接 |
 |
| 设置连接共享 |
 |
鼠标右键–》共享；字体变粗后该连接可以全局使用！
3、配置Excel输出组件
- 指定Excel输出位置
| 指定excel输出位置 |
 |
