开发者社区> wsc449> 正文

TurboDX

简介: 应用场景 当需要使用从一个库数据抽取、清洗到另一个库中,需要使用到ETL也就是kettle数据采集工具,但是KETTLE是CS架构的,并且配置流程,配置任务还是比较复杂的,比如配置一个增量更新,那么就需要使用触发器,...
+关注继续查看

应用场景

当需要使用从一个库数据抽取、清洗到另一个库中,需要使用到ETL也就是kettle数据采集工具,但是KETTLE是CS架构的,并且配置流程,配置任务还是比较复杂的,比如配置一个增量更新,那么就需要使用触发器,时间戳,MD5等方式,配置繁琐,下面介绍数贝的一歀数据交换平台,基于BS架构的,配置方便简洁,但是如果投入生产,是需要收费的!

操作步骤

2. TurboDX

2.1 TurboDX资源下载

软件安装包以及操作文档下载地址
下载后的目录结构如下图所示:

这里写图片描述

2.2 TurboDX产品安装

产品必须安装在 \TurboDX 路径,盘符没有限制,例如 D:\TurboDX、E:\TurboDX、C:\TurboDX,首先在D盘根目录建立TurboDX目录。

双击安装软件TurboDX_Express_Setup2.5.exe,一路下一步即可,选择安装在D盘的TurboDX目录下。安装完毕!

2.3 TurboDX产品设置

将授权文件synball_cloud.lic放到安装目录\TurboDX\tomcat\webapps\turbodx\licenses 下,这点必须设置,否则启动失败!

2.4 TurboDX产品启动与关闭

启动:
在Windows的“服务”中按次序启动后台服务TurboDXDB、TurboDXServer、TurboDXWEB。
关闭:
在Windows的“服务”中按次序关闭后台服务TurboDXWEB、TurboDXServer、TurboDXDB。

2.5 TurboDX产品访问

http://192.168.212.21:8422/turbodx 用户名:admin 密码:admin

这里写图片描述

2.6 TurboDX产品使用

2.6.1 需求场景设定

从一个mysql的源库,设置增量同步数据到另一个mysql的目标库。Mysql目标库是一个空库,而且同步增量时,支持源库中对表的数量选择!

2.6.2 数据库信息设定

源数据库:192.168.201.128:3306  root  11111
数据库名:ceshi

这里写图片描述

目标数据库:192.168.201.128:3307  xubin  xubin
数据库名:turbodxceshi      是一个空库

这里写图片描述

2.6.3 TurboDX绑定数据源

如下图所示,进入TurboDX交换平台中,选择数据源连接,新建关系型数据源,目前只支持mysql,oracle,sqlserver,配置数据源信息,名称,驱动,ip地址,端口,数据库名,用户名,密码等信息,然后进行连接。同理设置源数据库连接,和目标数据库连接!

这里写图片描述

2.6.4 TurboDX库表选择

该步配置目的是设置源数据库中,哪些表是需要配置数据增量同步的,把需要的表进行勾选,保存!为了简化操作,下图中并没有选择整库,而是抽选了库中的前5个表!

这里写图片描述

其中第一个表aaturbodx中有一条数据,如下所示:

这里写图片描述

2.6.5 配置全量同步

进入任务管理,选择复制同步,然后新建任务,配置任务名称,以及任务类型,勾选全量交换!然后进行保存!

这里写图片描述

配置完任务后,在任务列表中就可以看到该任务,然后点击该任务,在上方选择打开!

这里写图片描述

在打开的任务中,进行源数据库,和目标数据库的设置,操作如下图所示!

这里写图片描述

最后进行任务的开启与执行!

这里写图片描述

可以对结果进行监控,并且查看输出日志!

这里写图片描述

这里写图片描述

结果验证,查看目标数据库turbodxceshi中是否同步了5个表,第一个表aaturbodx中是否有一条数据,进行验证。

这里写图片描述

2.6.6 配置增量同步

和全量同步很类似,只不过在第一步配置任务类型的时候,选择增量事务即可,后面配置都一致!
当增量事务配置完成,并且启动后,就可以进行结果验证了。

结果验证,在源数据库ceshi中,选择aaturbodx表,在其表中添加一条数据,如下所示,查看目标数据库turbodxceshi的aaturbodx的表中,是否实时增加了一条数据,结果如下:

这里写图片描述

这里写图片描述

验证目标库,会自动更新在源数据库中添加的数据记录,数贝采用的增量同步技术,是mysql日子挖掘的方式扫描出增量数据。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Spring Boot 整合 Druid 指南
Spring Boot 整合 Druid 指南
1044 0
Flink CDC使用(数据采集CDC方案比较)
cdc 使用场景 场景cdc方案对比 flink cdc 的基本使用
8787 0
DataX学习笔记
DataX学习笔记
508 0
MySQL函数之cast()简介
MySQL函数之cast()简介
342 0
tpcc-mysql安装、使用、结果解读
tpcc-mysql安装、使用、结果解读
413 0
最强最全面的数仓建设规范指南 (一)
本文将全面讲解数仓建设规范,从数据模型规范,到数仓公共规范,数仓各层规范,最后到数仓命名规范,包括表命名,指标字段命名规范等!
3601 0
elasticsearch同步mongodb--mongo connector的使用
elasticsearch同步mongodb--mongo connector的使用
146 0
Flink CDC 系列 - 实时抽取 Oracle 数据,排雷和调优实践
分享对 Oracle 的实时数据捕获以及性能调优过程中的一些关键细节。
4937 0
Druid-目前最好的连接池
Druid是什么 Druid是阿里开源的连接池,是Java语言中最好的数据库连接池.Druid能够提供强大的监控和扩展功能,是为监控而生的数据库连接池!
4668 0
+关注
wsc449
python,c#,scala
文章
问答
视频
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载