Kettle输出步骤(四)

简介: Kettle输出步骤(四)

数据库表:

    • 表输出

    • 更新,删除,插入/更新

    • 批量加载(mysql,oracle

    • 数据同步

表输出

mysql数据库配置

20190505153551809.png乱码问题需要进行设置下

高级-》添加set names utf8

20190505153631361.png

选项-》添加参数

20190505154315855.png

characterEncoding utf8

defaultFetchSize 500

useCoursorFetch true

characterSetResults utf8

verifyServerCertificate false

把自定义的数据输出到表里面

20190505160126621.png

20190505160323536.png执行完sql语句数据库就会产生新的表hello ,如果字段需要调整可以勾选指定数据库字段来调整。

还可以进行表分区数据,需要有时间字段,可以按月按天区别。

oracle连接

20190812164907851.png

插入/更新

把自定义的数据与原有的数据库数据进行比较,有就更新,没有就插入

20190505162022254.png

数据合并同步

合并记录这里会产生一个新的字段flagfield来区别,其中包括


“identical” – 旧数据和新数据一样


“changed” – 数据发生了变化;


“new” – 新数据中有而旧数据中没有的记录


“deleted” –旧数据中有而新数据中没有的记录


20190505164007676.png

数据同步

输入表是旧的,输入表2是新的

目的是让旧的表同步数据

20190505170405329.png

按照标识来对数据库进行操作

20190505170251833.png

批量加载

使用流方式加载数据

20190505171158351.png

MySQL批量加载需要在Linux环境运行(有命令只能在Linux下运行)

Oracle需要本地有oracle客户端(sqlldr文件,在Oracle安装目录下查找)

目录
打赏
0
0
0
0
5
分享
相关文章
|
10月前
|
SQL
kettle开发篇-参数
kettle开发篇-参数
176 0
|
5月前
|
ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法)
本文详细介绍了如何在Kettle工具中使用循环传递变量,通过示例展示了如何将movies表数据按月插入到ods_movies表,涉及新建转换、获取变量、作业配置和执行,呈现了一个嵌套作业结构.
336 3
如何在MapReduce中处理多个输入文件?
如何在MapReduce中处理多个输入文件?
204 0
kettle根据不同的作业分类输出对应的日志文件
kettle根据不同的作业分类输出对应的日志文件
292 0
无事来学学--Kettle中输入,输出组件的使用(一)
CSV文件 一种带有固定格式的文本文件。注意:获取字段的时候可以调整自己的字段类型,格式,满足自己的需求哦。
268 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等