应用场景
当需要使用从一个库数据抽取、清洗到另一个库中,需要使用到ETL也就是kettle数据采集工具,但是KETTLE是CS架构的,并且配置流程,配置任务还是比较复杂的,比如配置一个增量更新,那么就需要使用触发器,时间戳,MD5等方式,配置繁琐,下面介绍数贝的一歀数据交换平台,基于BS架构的,配置方便简洁,但是如果投入生产,是需要收费的!
操作步骤
2. TurboDX
2.1 TurboDX资源下载
软件安装包以及操作文档下载地址
下载后的目录结构如下图所示:
2.2 TurboDX产品安装
产品必须安装在 \TurboDX 路径,盘符没有限制,例如 D:\TurboDX、E:\TurboDX、C:\TurboDX,首先在D盘根目录建立TurboDX目录。
双击安装软件TurboDX_Express_Setup2.5.exe,一路下一步即可,选择安装在D盘的TurboDX目录下。安装完毕!
2.3 TurboDX产品设置
将授权文件synball_cloud.lic放到安装目录\TurboDX\tomcat\webapps\turbodx\licenses 下,这点必须设置,否则启动失败!
2.4 TurboDX产品启动与关闭
- 启动:
- 在Windows的“服务”中按次序启动后台服务TurboDXDB、TurboDXServer、TurboDXWEB。
- 关闭:
- 在Windows的“服务”中按次序关闭后台服务TurboDXWEB、TurboDXServer、TurboDXDB。
2.5 TurboDX产品访问
http://192.168.212.21:8422/turbodx 用户名:admin 密码:admin
2.6 TurboDX产品使用
2.6.1 需求场景设定
从一个mysql的源库,设置增量同步数据到另一个mysql的目标库。Mysql目标库是一个空库,而且同步增量时,支持源库中对表的数量选择!
2.6.2 数据库信息设定
源数据库:192.168.201.128:3306 root 11111
数据库名:ceshi
目标数据库:192.168.201.128:3307 xubin xubin
数据库名:turbodxceshi 是一个空库
2.6.3 TurboDX绑定数据源
如下图所示,进入TurboDX交换平台中,选择数据源连接,新建关系型数据源,目前只支持mysql,oracle,sqlserver,配置数据源信息,名称,驱动,ip地址,端口,数据库名,用户名,密码等信息,然后进行连接。同理设置源数据库连接,和目标数据库连接!
2.6.4 TurboDX库表选择
该步配置目的是设置源数据库中,哪些表是需要配置数据增量同步的,把需要的表进行勾选,保存!为了简化操作,下图中并没有选择整库,而是抽选了库中的前5个表!
其中第一个表aaturbodx中有一条数据,如下所示:
2.6.5 配置全量同步
进入任务管理,选择复制同步,然后新建任务,配置任务名称,以及任务类型,勾选全量交换!然后进行保存!
配置完任务后,在任务列表中就可以看到该任务,然后点击该任务,在上方选择打开!
在打开的任务中,进行源数据库,和目标数据库的设置,操作如下图所示!
最后进行任务的开启与执行!
可以对结果进行监控,并且查看输出日志!
结果验证,查看目标数据库turbodxceshi中是否同步了5个表,第一个表aaturbodx中是否有一条数据,进行验证。
2.6.6 配置增量同步
和全量同步很类似,只不过在第一步配置任务类型的时候,选择增量事务即可,后面配置都一致!
当增量事务配置完成,并且启动后,就可以进行结果验证了。结果验证,在源数据库ceshi中,选择aaturbodx表,在其表中添加一条数据,如下所示,查看目标数据库turbodxceshi的aaturbodx的表中,是否实时增加了一条数据,结果如下:
验证目标库,会自动更新在源数据库中添加的数据记录,数贝采用的增量同步技术,是mysql日子挖掘的方式扫描出增量数据。