Kettle教程[2] 程序员小姐姐的第二次邂逅——JOB(作业)开发

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: Kettle教程[2] 程序员小姐姐的第二次邂逅——JOB(作业)开发

程序员小姐姐的第二次邂逅——JOB

前几天帮助程序员小姐姐小花解决了使用Kettle从Excel中抽取数据到MySQL问题,小姐姐特别高兴,请你吃了一顿饭,好一顿魂牵梦绕。小姐姐好几天都没有联系了,今天小姐姐又抱着电脑来找你了。你知道,又有新的问题来了。

项目经理要求小姐姐小花能够每5秒钟执行一次Kettle转换,也就是每5秒钟将Excel中的数据抽取并装载到MySQL中。 怎么实现呢?

要实现这个需求,我们需要学习Kettle的JOB,也就是作业。

Kettle中的作业(job)定义了转换应该如何执行,可以配置转换来进行定时执行。

JOB定时任务开发

2.1 需求

每5秒钟执行一次Kettle转换,也就是每5秒钟将Excel中的数据抽取并装载到MySQL中

2.2 创建作业
2.3 构建作业流组件图

效果图:

开发步骤

1.将核心对象中,通用文件夹下的 Start 组件拖拽到中间的空白区域。

2.将 通用文件夹的「转换」组件拖拽到中间的空白区域。

3.将通用文件夹中的「成功」组件拖拽到中间的空白区域。

4.同样使用Shift键,将组件都连接起来。

2.4 配置作业流图组件
2.4.1 配置转换组件

配置转换这里选择作业中要执行的转换,此处选择之前开发好的excel_to_mysql.ktr即可

注意:此处要先保存作业,然后再配置转换。

2.4.2 配置Start启动组件

我们需要在Start组件中,配置定时执行。

2.5 启动运行作业

点击播放箭头启动作业,并观察数据库中的数据是否会5秒钟增加一次。

我们看到数据每隔5秒钟就会增加一次。


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
7月前
|
Java 网络架构
Java面向对象开发作业
Java面向对象开发作业
81 0
|
3月前
|
数据采集 SQL JSON
《花100块做个摸鱼小网站! 》第五篇—通过xxl-job定时获取热搜数据
本文介绍了使用XXL-Job组件优化热搜数据定时更新的方法,实现了包括阿里云服务器部署、代码库下载、表结构初始化及启动等步骤,并详细展示了如何通过注解配置爬虫任务。文中通过具体示例(如抖音热搜)展示了如何将`@Scheduled`注解替换为`@XxlJob`注解,实现更灵活的任务调度。此外,还优化了前端展示,增加了热搜更新时间显示,并提供了B站热搜爬虫的实现方案。通过这些改进,使得热搜组件不仅功能完善,而且更加美观实用。详细代码可在作者提供的代码仓库中查看。
41 7
|
7月前
|
流计算
实时计算 Flink版操作报错之程序在idea跑没问题,打包在服务器跑就一直报错,是什么原因
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
存储 缓存 JSON
金鱼哥RHCA回忆录:DO447管理项目和开展作业--创建作业模板并启动作业
第九章 管理项目和开展作业--创建作业模板并启动作业
108 0
金鱼哥RHCA回忆录:DO447管理项目和开展作业--创建作业模板并启动作业
|
存储 JSON 运维
金鱼哥RHCA回忆录:DO447构建高级作业工作流--创建作业模板调查以设置工作的变量
第十章 构建高级作业工作流--创建作业模板调查以设置工作的变量
114 0
金鱼哥RHCA回忆录:DO447构建高级作业工作流--创建作业模板调查以设置工作的变量
|
缓存 运维 安全
金鱼哥RHCA回忆录:DO447构建高级作业工作流--作业调度和配置通知
第十章 构建高级作业工作流--作业调度和配置通
132 0
金鱼哥RHCA回忆录:DO447构建高级作业工作流--作业调度和配置通知
|
运维 数据可视化 网络协议
金鱼哥RHCA回忆录:DO447构建高级作业工作流--创建工作流作业模板并启动工作流作业
第十章 构建高级作业工作流--创建工作流作业模板并启动工作流作业
139 0
金鱼哥RHCA回忆录:DO447构建高级作业工作流--创建工作流作业模板并启动工作流作业
|
分布式计算 Java Hadoop
三十三、发布MapReduce程序在集群上运行之wordcount案例实施
三十三、发布MapReduce程序在集群上运行之wordcount案例实施
三十三、发布MapReduce程序在集群上运行之wordcount案例实施
|
分布式计算 Java Spark
Spark修炼之道(高级篇)——Spark源码阅读:第一节 Spark应用程序提交流程
作者:摇摆少年梦 微信号: zhouzhihubeyond spark-submit 脚本应用程序提交流程 在运行Spar应用程序时,会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行,执行提交命令如下: root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4/bin# .
8592 0