Kettle可视化ETL工具快速入门 2

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
云数据库 RDS MySQL,高可用系列 2核4GB
简介: Kettle可视化ETL工具快速入门

2.1.3 生成记录

数据仓库中绝大多数的数据都是业务系统生成的动态数据,但是其中一部分维度数据不是动态的,比如:日期维度。静态维度数据就可以提前生成。

需求:

  • 往 Excel 文件中插入1000条记录:id为1,name为itheima,age为18

操作步骤:

1、拖入 输入/生成记录 组件、输出/Excel输出 组件、连接两个组件

2、配置生成记录组件

3、配置Excel输出

具体实现:

1、拖入 输入/生成记录 组件、输出/Excel输出 组件、连接两个组件

组件配置图

2、配置生成记录组件

生成记录组件

2.2 输出组件

2.2.1 文本文件输出

需求:

  • 从mysql数据库的test库的t_user表 抽取数据到文本文件中

步骤:

1、拖入 一个 输入/表输入、一个 输出/文本文件输出、并连接两个组件

组件配置图

2、指定 从哪个表中获取数据

3、指定表中的数据输出到哪个文件

2.2.2 表输出

  • 表输出就是把数据写入指定的表

需求:

  • 资料\kettle测试数据\用户数据源\user.json中读取id, name, age字段的数据,
  • 装载到mysql数据库的 t_user_1 表中

操作步骤:

1、拖动 输入/JSON Input组件 ,输出/表输出,连接两个组件

2、JSON输入配置

3、表输出配置

具体操作:

1、拖动 输入/JSON Input组件 ,输出/表输出,连接两个组件

组件配置图

2、JSON输入配置

json输入配置图

3、表输出配置

表输出配置

2.2.3 插入更新

  • 插入更新就是把数据库已经存在的记录与数据流里面的记录进行比对
  • 如果不同就进行更新
  • 如果记录不存在,则会插入数据

需求:

  • 资料\kettle测试数据\user_new.json 中读数据,并插入或更新到mysql数据库的 t_user_1 表中

操作步骤:

1、拖入一个 输入/JSON输入组件,一个 输出/插入更新组件、连接两个组件

2、配置 JSON输入组件

3、配置 插入更新 组件

4、启动执行

具体实现:

1、拖入一个 输入/JSON输入组件,一个 输出/插入更新组件、连接两个组件

组件配置图

2、配置 JSON输入组件

json输入组件

3、配置 插入更新 组件

插入更新组件

4、启动执行

2.2.4 删除

需求:

  • 从mysql数据库 t_user_1 表中删除指定id为 492456198712198000 的数据

操作步骤:

1、拖入一个 输入/自定义常量数据、输出/删除 组件

2、连接两个组件

组件图
自定义常量组件

4、配置删除组件

配置删除组件
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
9月前
|
人工智能 测试技术 数据处理
通义灵码 2.0 体验报告:Deepseek 加持下的 Python 开发之旅
通义灵码 2.0 体验报告:Deepseek 加持下的 Python 开发之旅
415 11
|
数据采集 数据可视化 数据挖掘
如何进行有效的数据清洗?
如何进行有效的数据清洗?
1095 3
|
机器学习/深度学习 分布式计算 监控
实时流处理技术在金融风控中的应用
【7月更文挑战第16天】实时流处理技术在金融风控中的应用,不仅提升了金融服务的质量和效率,还在风险管理、反欺诈、市场洞察等方面发挥着至关重要的作用。随着大数据技术的不断发展,实时流处理技术将在金融领域发挥更加广泛和深入的作用,为金融机构带来更多的创新和发展机遇。
|
缓存 负载均衡 测试技术
企业系统工程(Enterprise Systems Engineering, ESE)是一个跨学科的领域,它应用系统工程的原则和方法来规划、设计、实施和管理复杂的组织系统,特别是那些涉及信息技术(IT)和商业流程的系统。
企业系统工程(Enterprise Systems Engineering, ESE)是一个跨学科的领域,它应用系统工程的原则和方法来规划、设计、实施和管理复杂的组织系统,特别是那些涉及信息技术(IT)和商业流程的系统。
|
JSON 数据可视化 关系型数据库
Kettle可视化ETL工具快速入门 1
Kettle可视化ETL工具快速入门
762 0
|
缓存 JSON 安全
【Uniapp 专栏】Uniapp 与后端接口对接的实战要点
【5月更文挑战第12天】在 Uniapp 项目开发中,成功对接后端接口至关重要。要点包括:深入理解后端提供的接口文档,确保数据格式(如 JSON)正确处理,选择合适的请求方式(如 GET、POST),设置正确的请求头,做好错误处理和数据缓存策略,确保安全性(如使用 HTTPS 和令牌验证)并进行全面测试。同时,进行版本管理和团队协作,与后端开发人员保持良好沟通,以实现高效、稳定的接口对接。
1118 5
|
数据采集 数据可视化 算法
深入解析ERP系统的业务智能与报表分析模块
深入解析ERP系统的业务智能与报表分析模块
623 3
数据一致性-对账
一致性分为强一致性和弱一致性。 强一致性的协议和手段主要有:二阶段提交(2PC)、三阶段提交(3PC)、TCC(Try-Confirm-Cancel)补偿型。这里面经常有人把两阶段提交和TCC补偿型混淆。二阶段提交实际上业务逻辑是在提交之前做的,两阶段只是事务控制的两个阶段。而TCC是将业务逻辑分为try、confirm和cancel三个阶段。举个例子:比如一个人要预售苹果,有两种销售策略。一种让用户先付钱,根据用户需求量准备足够的苹果。另一种是让用户先付钱同时声明到时候先到先得,没抢到的就退款。第一种就是二阶段提交,第二种就是TCC。弱一致性在分布式系统中常用的是一种特例:最终一致性。
1139 0
数据一致性-对账
|
调度 数据安全/隐私保护 Docker
docker启动xxl-job-admin
docker启动xxl-job-admin
394 0
|
数据库连接 数据库 关系型数据库
ETL工具 kettle
Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。Kettl
9953 0