Kettle输出步骤(四)

简介: Kettle输出步骤(四)

数据库表:

    • 表输出

    • 更新,删除,插入/更新

    • 批量加载(mysql,oracle

    • 数据同步

表输出

mysql数据库配置

20190505153551809.png乱码问题需要进行设置下

高级-》添加set names utf8

20190505153631361.png

选项-》添加参数

20190505154315855.png

characterEncoding utf8

defaultFetchSize 500

useCoursorFetch true

characterSetResults utf8

verifyServerCertificate false

把自定义的数据输出到表里面

20190505160126621.png

20190505160323536.png执行完sql语句数据库就会产生新的表hello ,如果字段需要调整可以勾选指定数据库字段来调整。

还可以进行表分区数据,需要有时间字段,可以按月按天区别。

oracle连接

20190812164907851.png

插入/更新

把自定义的数据与原有的数据库数据进行比较,有就更新,没有就插入

20190505162022254.png

数据合并同步

合并记录这里会产生一个新的字段flagfield来区别,其中包括


“identical” – 旧数据和新数据一样


“changed” – 数据发生了变化;


“new” – 新数据中有而旧数据中没有的记录


“deleted” –旧数据中有而新数据中没有的记录


20190505164007676.png

数据同步

输入表是旧的,输入表2是新的

目的是让旧的表同步数据

20190505170405329.png

按照标识来对数据库进行操作

20190505170251833.png

批量加载

使用流方式加载数据

20190505171158351.png

MySQL批量加载需要在Linux环境运行(有命令只能在Linux下运行)

Oracle需要本地有oracle客户端(sqlldr文件,在Oracle安装目录下查找)

相关文章
|
7月前
|
SQL
kettle开发篇-参数
kettle开发篇-参数
153 0
|
7月前
|
数据采集 Oracle 关系型数据库
kettle开发-循环驱动作业
kettle开发-循环驱动作业
210 0
|
JavaScript 前端开发
kettle从sftp下载多个文件并进行转换后输出
kettle从sftp下载多个文件并进行转换后输出
|
JavaScript 前端开发 数据库
Kettle使用脚本实现循环(十)
Kettle使用脚本实现循环(十)
1588 0
Kettle使用脚本实现循环(十)
|
2月前
|
Java
ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法)
本文详细介绍了如何在Kettle工具中使用循环传递变量,通过示例展示了如何将movies表数据按月插入到ods_movies表,涉及新建转换、获取变量、作业配置和执行,呈现了一个嵌套作业结构.
169 3
|
7月前
|
监控 Java 数据库连接
kettle开发-远程执行作业
kettle开发-远程执行作业
314 0
kettle根据不同的作业分类输出对应的日志文件
kettle根据不同的作业分类输出对应的日志文件
272 0
|
Java 网络安全
Kettle流程步骤与应用步骤(六)
Kettle流程步骤与应用步骤(六)
300 1
Kettle流程步骤与应用步骤(六)
|
XML JSON 数据库连接
Kettle输入步骤(三)
Kettle输入步骤(三)
259 0
Kettle输入步骤(三)