Kettle可视化ETL工具快速入门 2

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: Kettle可视化ETL工具快速入门

2.1.3 生成记录

数据仓库中绝大多数的数据都是业务系统生成的动态数据,但是其中一部分维度数据不是动态的,比如:日期维度。静态维度数据就可以提前生成。

需求:

  • 往 Excel 文件中插入1000条记录:id为1,name为itheima,age为18

操作步骤:

1、拖入 输入/生成记录 组件、输出/Excel输出 组件、连接两个组件

2、配置生成记录组件

3、配置Excel输出

具体实现:

1、拖入 输入/生成记录 组件、输出/Excel输出 组件、连接两个组件

组件配置图

2、配置生成记录组件

生成记录组件

2.2 输出组件

2.2.1 文本文件输出

需求:

  • 从mysql数据库的test库的t_user表 抽取数据到文本文件中

步骤:

1、拖入 一个 输入/表输入、一个 输出/文本文件输出、并连接两个组件

组件配置图

2、指定 从哪个表中获取数据

3、指定表中的数据输出到哪个文件

2.2.2 表输出

  • 表输出就是把数据写入指定的表

需求:

  • 资料\kettle测试数据\用户数据源\user.json中读取id, name, age字段的数据,
  • 装载到mysql数据库的 t_user_1 表中

操作步骤:

1、拖动 输入/JSON Input组件 ,输出/表输出,连接两个组件

2、JSON输入配置

3、表输出配置

具体操作:

1、拖动 输入/JSON Input组件 ,输出/表输出,连接两个组件

组件配置图

2、JSON输入配置

json输入配置图

3、表输出配置

表输出配置

2.2.3 插入更新

  • 插入更新就是把数据库已经存在的记录与数据流里面的记录进行比对
  • 如果不同就进行更新
  • 如果记录不存在,则会插入数据

需求:

  • 资料\kettle测试数据\user_new.json 中读数据,并插入或更新到mysql数据库的 t_user_1 表中

操作步骤:

1、拖入一个 输入/JSON输入组件,一个 输出/插入更新组件、连接两个组件

2、配置 JSON输入组件

3、配置 插入更新 组件

4、启动执行

具体实现:

1、拖入一个 输入/JSON输入组件,一个 输出/插入更新组件、连接两个组件

组件配置图

2、配置 JSON输入组件

json输入组件

3、配置 插入更新 组件

插入更新组件

4、启动执行

2.2.4 删除

需求:

  • 从mysql数据库 t_user_1 表中删除指定id为 492456198712198000 的数据

操作步骤:

1、拖入一个 输入/自定义常量数据、输出/删除 组件

2、连接两个组件

组件图
自定义常量组件

4、配置删除组件

配置删除组件
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
7月前
|
数据可视化 安全 数据挖掘
Tableau快速入门-下载安装加载数据与仪表盘构建
Tableau快速入门-下载安装加载数据与仪表盘构建
Tableau快速入门-下载安装加载数据与仪表盘构建
|
7月前
|
调度
kettle开发篇-写日志
kettle开发篇-写日志
505 0
|
数据采集 SQL 分布式计算
常用的数据集成ETL工具有哪些?
六种常用的数据集成ETL工具
常用的数据集成ETL工具有哪些?
|
1月前
|
数据采集 监控 数据可视化
Kettle的特点是什么?如何使用?
【10月更文挑战第24天】Kettle的特点是什么?如何使用?
114 2
|
7月前
|
SQL 前端开发 JavaScript
kettle开发-超好用自定义数据处理组件
kettle开发-超好用自定义数据处理组件
220 0
|
数据采集 Java 关系型数据库
企业实战(20)ETL数据库迁移工具Kettle的安装配置详解
企业实战(20)ETL数据库迁移工具Kettle的安装配置详解
536 0
|
JSON 数据可视化 关系型数据库
Kettle可视化ETL工具快速入门 1
Kettle可视化ETL工具快速入门
441 0
|
XML JSON 大数据
大数据ETL开发之图解Kettle工具
大数据ETL开发之图解Kettle工具
216 0
|
数据可视化 关系型数据库 数据挖掘
「集成架构」2020年最好的15个ETL工具(第三部)
「集成架构」2020年最好的15个ETL工具(第三部)
|
数据可视化 关系型数据库 数据挖掘
集成架构」2020年最好的15个ETL工具(第三部)
集成架构」2020年最好的15个ETL工具(第三部)

热门文章

最新文章