Kettle教程[2] 程序员小姐姐的第二次邂逅——JOB(作业)开发

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Kettle教程[2] 程序员小姐姐的第二次邂逅——JOB(作业)开发

程序员小姐姐的第二次邂逅——JOB

前几天帮助程序员小姐姐小花解决了使用Kettle从Excel中抽取数据到MySQL问题,小姐姐特别高兴,请你吃了一顿饭,好一顿魂牵梦绕。小姐姐好几天都没有联系了,今天小姐姐又抱着电脑来找你了。你知道,又有新的问题来了。

项目经理要求小姐姐小花能够每5秒钟执行一次Kettle转换,也就是每5秒钟将Excel中的数据抽取并装载到MySQL中。 怎么实现呢?

要实现这个需求,我们需要学习Kettle的JOB,也就是作业。

Kettle中的作业(job)定义了转换应该如何执行,可以配置转换来进行定时执行。

JOB定时任务开发

2.1 需求

每5秒钟执行一次Kettle转换,也就是每5秒钟将Excel中的数据抽取并装载到MySQL中

2.2 创建作业
2.3 构建作业流组件图

效果图:

开发步骤

1.将核心对象中,通用文件夹下的 Start 组件拖拽到中间的空白区域。

2.将 通用文件夹的「转换」组件拖拽到中间的空白区域。

3.将通用文件夹中的「成功」组件拖拽到中间的空白区域。

4.同样使用Shift键,将组件都连接起来。

2.4 配置作业流图组件
2.4.1 配置转换组件

配置转换这里选择作业中要执行的转换,此处选择之前开发好的excel_to_mysql.ktr即可

注意:此处要先保存作业,然后再配置转换。

2.4.2 配置Start启动组件

我们需要在Start组件中,配置定时执行。

2.5 启动运行作业

点击播放箭头启动作业,并观察数据库中的数据是否会5秒钟增加一次。

我们看到数据每隔5秒钟就会增加一次。


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
4天前
|
资源调度 关系型数据库 MySQL
【Flink on YARN + CDC 3.0】神操作!看完这篇教程,你也能成为数据流处理高手!从零开始,一步步教会你在Flink on YARN模式下如何配置Debezium CDC 3.0,让你的数据库变更数据瞬间飞起来!
【8月更文挑战第15天】随着Apache Flink的普及,企业广泛采用Flink on YARN部署流处理应用,高效利用集群资源。变更数据捕获(CDC)工具在现代数据栈中至关重要,能实时捕捉数据库变化并转发给下游系统处理。本文以Flink on YARN为例,介绍如何在Debezium CDC 3.0中配置MySQL连接器,实现数据流处理。首先确保YARN上已部署Flink集群,接着安装Debezium MySQL连接器并配置Kafka Connect。最后,创建Flink任务消费变更事件并提交任务到Flink集群。通过这些步骤,可以构建出从数据库变更到实时处理的无缝数据管道。
16 2
|
3月前
|
流计算
实时计算 Flink版操作报错之程序在idea跑没问题,打包在服务器跑就一直报错,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3月前
|
存储 算法 Python
Python编程作业一:程序基本流程
Python编程作业一:程序基本流程
33 0
|
分布式计算 Hadoop Java
三十、MapReduce之wordcount案例(环境搭建及案例实施)
三十、MapReduce之wordcount案例(环境搭建及案例实施)
三十、MapReduce之wordcount案例(环境搭建及案例实施)
|
消息中间件 缓存 JavaScript
魔改xxl-job,彻底告别手动配置任务!
魔改xxl-job,彻底告别手动配置任务!
|
分布式计算 Java Hadoop
三十三、发布MapReduce程序在集群上运行之wordcount案例实施
三十三、发布MapReduce程序在集群上运行之wordcount案例实施
三十三、发布MapReduce程序在集群上运行之wordcount案例实施
|
分布式计算 Hadoop 开发者
MapReduce 工作流程(面试重点)| 学习笔记
快速学习 MapReduce 工作流程(面试重点)
140 0
MapReduce 工作流程(面试重点)| 学习笔记
|
分布式计算 Java Spark
Spark修炼之道(高级篇)——Spark源码阅读:第一节 Spark应用程序提交流程
作者:摇摆少年梦 微信号: zhouzhihubeyond spark-submit 脚本应用程序提交流程 在运行Spar应用程序时,会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行,执行提交命令如下: root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# .
8570 0
|
C++
C++课程设计类作业4
1 #include 2 using namespace std; 3 class xiexin 4 { 5 public: 6 xiexin() 7 { 8 weight=0; 9 grade=0; 10 ...
862 0