数据抽取清洗转换加载工具ETL

简介: 应用场景 当你想通过工具,从一个数据库将数据进行清洗后搬迁到另一个数据库,那么就可以通过ETL的数据抽取清洗转换加载工具来操作。

应用场景

当你想通过工具,从一个数据库将数据进行清洗后搬迁到另一个数据库,那么就可以通过ETL的数据抽取清洗转换加载工具来操作。

操作步骤

1. 工具下载

kettle文件下载,解压即可用:
下载地址

2. 配置

首先我们了解下Epoint-DI能做什么?
一般我在项目中数据抽取一般都是自己写定时任务,通过quartz或者其他任务调度框架来定时从数据源中抽取数据,所有有关数据的抽取、校验、转换等过程都是在代码中手工编写,针对不同的数据源都是需要手动来编写代码,然后重新发布数据抽取程序。但是通过DI就可以实现配置的方式来创建定任务调度,数据的抽取、校验、转换等过程。并且支持多种数据的输入、输出方式,有完善的过滤组件,数据处理组件等。


简单的数据推送
创建一个输入组件、一个输出组件即可。负责抽取和插入数据。

这里写图片描述

表输入:

这里写图片描述

表输出:

这里写图片描述

目录
相关文章
|
7月前
|
数据采集 数据可视化 数据挖掘
数据清洗有什么方式
数据清洗有什么方式
|
数据采集 SQL 分布式计算
数据预处理-数据清洗-读取过滤规则到程序代码|学习笔记
快速学习数据预处理-数据清洗-读取过滤规则到程序代码
192 0
数据预处理-数据清洗-读取过滤规则到程序代码|学习笔记
|
数据采集 大数据 开发者
数据预处理—数据清洗—数据过滤功能代码|学习笔记
快速学习数据预处理—数据清洗—数据过滤功能代码
348 0
数据预处理—数据清洗—数据过滤功能代码|学习笔记
|
数据采集 SQL 数据挖掘
数据预处理-数据解析-总结及预定数据分析|学习笔记
快速学习数据预处理-数据解析-总结及预定数据分析
158 0
数据预处理-数据解析-总结及预定数据分析|学习笔记
|
数据采集 分布式计算 NoSQL
数据预处理—数据清洗—规则更新流程代码|学习笔记
快速学习数据预处理—数据清洗—规则更新流程代码
244 0
数据预处理—数据清洗—规则更新流程代码|学习笔记
|
数据采集 编解码 运维
SLS数据加工实现Hashids库对数据进行编码
Hashids是一个非常小巧的跨语言的开源库,它可以将数字编码成一个简短、唯一、非顺序的ID。
229 0
|
数据采集 自然语言处理 算法
①数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
431 0
①数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
|
数据挖掘 大数据 索引
1_数据分析—数据载入、导出和探索
1_数据分析—数据载入、导出和探索
234 0
1_数据分析—数据载入、导出和探索
|
数据采集 SQL 关系型数据库
最佳实践—如何优化数据全量抽取
本文介绍了在应用内通过代码高效抽取数据的方法。
269 0
|
数据格式 JSON 监控
日志服务数据加工最佳实践: 特定格式文本的加工
本篇介绍日志服务数据加工最佳实践: 特定格式文本的数据加工, 覆盖非标准JSON对象, XML文本, 类Logstash配置等
1541 0
日志服务数据加工最佳实践: 特定格式文本的加工
下一篇
无影云桌面