Kettle输出步骤(四)

简介: Kettle输出步骤(四)

数据库表:

    • 表输出

    • 更新,删除,插入/更新

    • 批量加载(mysql,oracle

    • 数据同步

表输出

mysql数据库配置

20190505153551809.png乱码问题需要进行设置下

高级-》添加set names utf8

20190505153631361.png

选项-》添加参数

20190505154315855.png

characterEncoding utf8

defaultFetchSize 500

useCoursorFetch true

characterSetResults utf8

verifyServerCertificate false

把自定义的数据输出到表里面

20190505160126621.png

20190505160323536.png执行完sql语句数据库就会产生新的表hello ,如果字段需要调整可以勾选指定数据库字段来调整。

还可以进行表分区数据,需要有时间字段,可以按月按天区别。

oracle连接

20190812164907851.png

插入/更新

把自定义的数据与原有的数据库数据进行比较,有就更新,没有就插入

20190505162022254.png

数据合并同步

合并记录这里会产生一个新的字段flagfield来区别,其中包括


“identical” – 旧数据和新数据一样


“changed” – 数据发生了变化;


“new” – 新数据中有而旧数据中没有的记录


“deleted” –旧数据中有而新数据中没有的记录


20190505164007676.png

数据同步

输入表是旧的,输入表2是新的

目的是让旧的表同步数据

20190505170405329.png

按照标识来对数据库进行操作

20190505170251833.png

批量加载

使用流方式加载数据

20190505171158351.png

MySQL批量加载需要在Linux环境运行(有命令只能在Linux下运行)

Oracle需要本地有oracle客户端(sqlldr文件,在Oracle安装目录下查找)

相关文章
|
JavaScript 前端开发 Java
kettle开发篇-作业
kettle开发篇-作业
407 0
|
数据库连接 数据库
kettle开发篇-数据库查询
kettle开发篇-数据库查询
763 0
|
Oracle 前端开发 关系型数据库
kettle开发篇-更新
kettle开发篇-更新
804 1
|
数据采集 Oracle 关系型数据库
kettle开发-循环驱动作业
kettle开发-循环驱动作业
1158 0
|
SQL 前端开发 JavaScript
kettle开发-超好用自定义数据处理组件
kettle开发-超好用自定义数据处理组件
1284 0
|
Java
ETL工具 Kettle 中 kettle循环传递变量_(最简单的方法)
本文详细介绍了如何在Kettle工具中使用循环传递变量,通过示例展示了如何将movies表数据按月插入到ods_movies表,涉及新建转换、获取变量、作业配置和执行,呈现了一个嵌套作业结构.
2763 3
|
前端开发 JavaScript 数据安全/隐私保护
Jmeter模拟加密密码登录
Jmeter模拟加密密码登录
726 0
|
SQL 存储 关系型数据库
在PG数据库中,not in 和except的区别
在PG数据库中,not in 和except的区别
|
SQL 关系型数据库 MySQL
ETL工具 Kettle 中怎么通过变量传参
ETL工具 Kettle 中怎么通过变量传参
1779 0
|
云安全 监控 安全
什么是游戏盾,能为游戏安全提供哪些帮助
游戏盾是一种专为游戏行业量身定制的网络安全防护解决方案。随着网络游戏的普及和玩家数量的激增,游戏服务器面临的网络威胁也日益增多,包括但不限于分布式拒绝服务攻击(DDoS攻击)、挑战碰撞(CC)攻击等。为了应对这些挑战,游戏盾应运而生,旨在为游戏运营商提供全方位、高效能的网络安全解决方案。