应用场景
当需要使用从一个库数据抽取、清洗到另一个库中,需要使用到ETL也就是kettle数据采集工具,但是KETTLE是CS架构的,并且配置流程,配置任务还是比较复杂的,比如配置一个增量更新,那么就需要使用触发器,时间戳,MD5等方式,配置繁琐,下面介绍东方通的一歀数据交换平台,基于BS架构的,配置方便简洁,但是如果投入生产,是需要收费的!
操作步骤
1. TongDXP
1.1 TongDXP资源下载
软件安装包以及东方通官方白皮书下载地址
下载后的目录结构如下图所示:
1.2 TongDXP产品安装
步骤一:在产品包中选择TongDXP_MC_3.1.0.2_Win_64.exe,然后双击进行安装。
步骤二:
步骤三,配置JDK:
步骤四:填写IP,不能填写127.0.0.1或者localhost
步骤五:选择安装目录
最后一步:点击install即可
1.3 TongDXP产品设置
1、将下载的license.dat,license_dxp.dat两个license文件,放到TongDXP的安装目录下即可!例如,放到TongDXP目录下。
2、由于TongDXP默认tomcat的端口是8080,为了防止冲突,最好提前修改掉。打开安装目录,进入WebServer,进入conf目录,修改server.xml文件,将端口修改为不常用端口,比如8066等,以防端口冲突。
1.4 TongDXP产品启动与关闭
- 1) 启动
-
首先:启动交换节点。 在 windows 的“开始”菜单中,选择“程序→TongDXP→交换节点→启动交换节点”。 节点正常启动会出现 TongDXP Agent start success。
其次:启动管理平台。 在 windows 的“开始”菜单中,选择“程序→TongDXP→管理平台→启动管理平台”。 - 2) 停止
-
首先:停止交换节点。 在 windows 的“开始”菜单中,选择“程序→TongDXP→交换节点→停止交换节点”。 Windows 下停止节点会关闭当前的 TongAgent 窗口。
其次:停止管理平台。 在 windows 的“开始”菜单中,选择“程序→TongDXP→管理平台→停止管理平台”。
1.5 TongDXP产品访问
http://192.168.212.21:8066/cloud 用户名:admin 密码:admin
1.6 TongDXP产品使用
1.6.1 需求场景设定
从一个mysql的源库,设置增量同步数据到另一个mysql的目标库。Mysql目标库是一个空库,而且同步增量时,支持源库中对表的数量选择!
1.6.2 数据库信息设定
源数据库:192.168.201.128:3306 root 11111
数据库名:ceshi
目标数据库:192.168.201.128:3307 xubin xubin
数据库名:turbodxceshi 是一个空库
1.6.3 TongDXP绑定数据源
进入TongDXP,选择数据源管理,进行新增数据源,配置如下图所示!
配置完毕后,选择对应数据源,进行数据的初始化。
1.6.4 TongDXP配置交换任务
进入交换管理,选择交换任务,新建数据库任务,进行如下图所示配置!
1.6.5 TongDXP配置交换流程
进入交换管理,选择交换流程,新建数据库流程,进行如下图所示配置!
点击源表,选择需要配置增量的表,并且选择对应的目标表,在下方中,从原表到目标表拉一条直线即可!
1.6.6 TongDXP启动交换任务、验证结果
进入交换管理中的,交换任务,选择需要启动的交换任务,点击启动即可!
结果验证,在源数据库ceshi中,选择aaturbodx表,在其表中添加一条数据,如下所示,查看目标数据库turbodxceshi的aaturbodx的表中,是否实时增加了一条数据,结果如下: