数据对接—kettle使用之三

简介:

 上一篇介绍了Data Grid和文本文件输出两个插件,并通过实例介绍插件的简单使用,如果有这样的需求大家可以参考一下并深入研究插件的其它细节设置。这一篇我们介绍(表输出)的使用。

表输出

1、  Target Schema:目标模式。要写数据的表的Schema的名称。允许表明中包含“。”对数据源来说是很重要的

2、  目标表:要写数据的表名。

3、  提交记录数量:在数据表中用事物插入行。如果n比0大,每n行提交一次连接。否则不使用事务,速度会慢一些。

4、  裁剪表:在第一行数据插入之前裁剪表。

5、  忽略插入错误:使Kettle忽略比如违反主键约束之类的插入错误,最多20个警告将被日志记录。在批量插入的时候这个功能不可用。

6、  使用批量插入:这个选项速度快,默认被选上。

7、  表分区数据:使用这个选项可以在多个表之间拆分数据。例如把数据放到表s1、s2、s3中来代替直接插入数据到表s中。

例如:create or replace view sales as

                    Select* from sales_200501

                    Unionall

                    Select* from sales_200502

8、  表名定义在一个字段里:使用此选项可以拆分数据到一个或者多个表里,目标表名可以用你指定的字段来定义。例如:如果你想存储客户性别数据,这些数据可能会存储到表M和表F里面。这个选项可以阻止这些字段插入到相应的表里。

9、  返回一个自动产生的关键字:往表中插入行时,是否产生一个关键字。

10、自动产生关键字的字段名称:指定包含关键字的输出字段的字段名称。

实例

1、打开表输出插件,选择新建数据库连接和选择目标表,如下图:


2、数据库连接展示,如下图:


3、点击测试,连接成功说明可以正常使用,如下图:


4、点击如上箭头指向的按钮,自动执行生成的sql脚本,创建表,如下图:


5、执行结果如下图:


6、成功创建的表ttt,选择表为目标表,如下图:


7、点击获取输出字段,如下图:


8、还可以预览数据,如下图:


9、错误日志录到文本文件中,下图为配置项:


10、最后点击运行按钮,可以测试脚本,操作和上一篇博客中的一样,这里就不在赘述了。

总结:表输出可以自动的创建表及字段,这样我们可以用它来处理一些特殊的动态的创建表并保存数据的业务需求,而且表输出的效率也要比更新插入插件的高。

目录
相关文章
|
11月前
|
XML JSON 大数据
大数据ETL开发之图解Kettle工具
大数据ETL开发之图解Kettle工具
161 0
|
12月前
|
SQL 分布式计算 Oracle
「集成架构」2020年最好的15个ETL工具(第一部)
「集成架构」2020年最好的15个ETL工具(第一部)
|
数据采集 缓存 分布式计算
大数据 ETL 处理工具 Kettle 的核心概念
上一篇中对 Kettle 进行了简单的介绍,并快速体验了一把 Kettle,完成了「把数据从 CSV 文件复制到 Excel 文件」 HelloWrold 级别的功能。 而在实际工作中,可以使用 Kettle 的图形化的方式定义复杂的 ETL 程序和工作流,如下图就是通过一系列的转换(Transformation) 完成一个作业(Job)流程。
|
SQL XML JSON
大数据ETL开发之图解Kettle工具(入门到精通)
ETL (Extract-Transform-Load 的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种ETL工具的使用,必不可少。
4697 0
大数据ETL开发之图解Kettle工具(入门到精通)
|
SQL 数据库连接 数据库
|
XML SQL 数据库
|
XML 数据格式