TurboDX

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 应用场景 当需要使用从一个库数据抽取、清洗到另一个库中,需要使用到ETL也就是kettle数据采集工具,但是KETTLE是CS架构的,并且配置流程,配置任务还是比较复杂的,比如配置一个增量更新,那么就需要使用触发器,...

应用场景

当需要使用从一个库数据抽取、清洗到另一个库中,需要使用到ETL也就是kettle数据采集工具,但是KETTLE是CS架构的,并且配置流程,配置任务还是比较复杂的,比如配置一个增量更新,那么就需要使用触发器,时间戳,MD5等方式,配置繁琐,下面介绍数贝的一歀数据交换平台,基于BS架构的,配置方便简洁,但是如果投入生产,是需要收费的!

操作步骤

2. TurboDX

2.1 TurboDX资源下载

软件安装包以及操作文档下载地址
下载后的目录结构如下图所示:

这里写图片描述

2.2 TurboDX产品安装

产品必须安装在 \TurboDX 路径,盘符没有限制,例如 D:\TurboDX、E:\TurboDX、C:\TurboDX,首先在D盘根目录建立TurboDX目录。

双击安装软件TurboDX_Express_Setup2.5.exe,一路下一步即可,选择安装在D盘的TurboDX目录下。安装完毕!

2.3 TurboDX产品设置

将授权文件synball_cloud.lic放到安装目录\TurboDX\tomcat\webapps\turbodx\licenses 下,这点必须设置,否则启动失败!

2.4 TurboDX产品启动与关闭

启动:
在Windows的“服务”中按次序启动后台服务TurboDXDB、TurboDXServer、TurboDXWEB。
关闭:
在Windows的“服务”中按次序关闭后台服务TurboDXWEB、TurboDXServer、TurboDXDB。

2.5 TurboDX产品访问

http://192.168.212.21:8422/turbodx 用户名:admin 密码:admin

这里写图片描述

2.6 TurboDX产品使用

2.6.1 需求场景设定

从一个mysql的源库,设置增量同步数据到另一个mysql的目标库。Mysql目标库是一个空库,而且同步增量时,支持源库中对表的数量选择!

2.6.2 数据库信息设定

源数据库:192.168.201.128:3306  root  11111
数据库名:ceshi

这里写图片描述

目标数据库:192.168.201.128:3307  xubin  xubin
数据库名:turbodxceshi      是一个空库

这里写图片描述

2.6.3 TurboDX绑定数据源

如下图所示,进入TurboDX交换平台中,选择数据源连接,新建关系型数据源,目前只支持mysql,oracle,sqlserver,配置数据源信息,名称,驱动,ip地址,端口,数据库名,用户名,密码等信息,然后进行连接。同理设置源数据库连接,和目标数据库连接!

这里写图片描述

2.6.4 TurboDX库表选择

该步配置目的是设置源数据库中,哪些表是需要配置数据增量同步的,把需要的表进行勾选,保存!为了简化操作,下图中并没有选择整库,而是抽选了库中的前5个表!

这里写图片描述

其中第一个表aaturbodx中有一条数据,如下所示:

这里写图片描述

2.6.5 配置全量同步

进入任务管理,选择复制同步,然后新建任务,配置任务名称,以及任务类型,勾选全量交换!然后进行保存!

这里写图片描述

配置完任务后,在任务列表中就可以看到该任务,然后点击该任务,在上方选择打开!

这里写图片描述

在打开的任务中,进行源数据库,和目标数据库的设置,操作如下图所示!

这里写图片描述

最后进行任务的开启与执行!

这里写图片描述

可以对结果进行监控,并且查看输出日志!

这里写图片描述

这里写图片描述

结果验证,查看目标数据库turbodxceshi中是否同步了5个表,第一个表aaturbodx中是否有一条数据,进行验证。

这里写图片描述

2.6.6 配置增量同步

和全量同步很类似,只不过在第一步配置任务类型的时候,选择增量事务即可,后面配置都一致!
当增量事务配置完成,并且启动后,就可以进行结果验证了。

结果验证,在源数据库ceshi中,选择aaturbodx表,在其表中添加一条数据,如下所示,查看目标数据库turbodxceshi的aaturbodx的表中,是否实时增加了一条数据,结果如下:

这里写图片描述

这里写图片描述

验证目标库,会自动更新在源数据库中添加的数据记录,数贝采用的增量同步技术,是mysql日子挖掘的方式扫描出增量数据。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
关系型数据库 MySQL API
|
7月前
|
存储 关系型数据库 MySQL
DataX: 阿里开源的又一款高效数据同步工具
DataX 是由阿里巴巴集团开源的一款大数据同步工具,旨在解决不同数据存储之间的数据迁移、同步和实时交换的问题。它支持多种数据源和数据存储系统,包括关系型数据库、NoSQL 数据库、Hadoop 等。 DataX 提供了丰富的数据读写插件,可以轻松地将数据从一个数据源抽取出来,并将其加载到另一个数据存储中。它还提供了灵活的配置选项和高度可扩展的架构,以适应各种复杂的数据同步需求。
|
7月前
|
API Apache 数据库
Flink CDC 3.0 正式发布,详细解读新一代实时数据集成框架
Flink CDC 于 2023 年 12 月 7 日重磅推出了其全新的 3.0 版本 ~
105190 8
 Flink CDC 3.0 正式发布,详细解读新一代实时数据集成框架
|
Java 数据库
Springboot 根据数据库表自动生成实体类和Mapper,只需三步
Springboot 根据数据库表自动生成实体类和Mapper,只需三步
5166 1
Springboot 根据数据库表自动生成实体类和Mapper,只需三步
|
Java 关系型数据库 MySQL
IDEA(Community版)数据库插件Database Navigator的安装与使用教程
IDEA(Community版)数据库插件Database Navigator的安装与使用教程
IDEA(Community版)数据库插件Database Navigator的安装与使用教程
|
NoSQL Linux 测试技术
Linux下Redis的安装、配置及开机自启动
Linux下Redis的安装、配置及开机自启动 系统版本: CentOS 7 Redis版本: Redis-6.2.5
42934 7
Linux下Redis的安装、配置及开机自启动
|
存储 Prometheus 监控
K3S环境下接入Prometheus,grafana,等监控套件
因为常规的监控都是用K8S做的,而K3S上的监控方案少之又少,如果直接用rancher上的prometheus监控,会消耗至少2G的内存,于是我们就自己做了K3S和pg数据库的监控,并且通过我们自己做的监控,可以减少一些不必要的性能开销。主要监控容器资源消耗,宿主机资源消耗,pg数据库资源消耗
3224 0
K3S环境下接入Prometheus,grafana,等监控套件
|
容器 Docker 数据安全/隐私保护
阿里云开源 image-syncer 工具,容器镜像迁移同步的终极利器
为什么要做这个工具? 由于阿里云上的容器服务 ACK 在使用成本、运维成本、方便性、长期稳定性上大大超过公司自建自维护 Kubernets 集群,有不少公司纷纷想把之前自己维护 Kubernetes 负载迁移到阿里云 ACK 服务上。
|
存储 SQL JSON
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
|
安全 算法 中间件
CentOS7下rpm包方式升级openssl到安全版本1.1.1n
CentOS7下rpm包方式升级openssl到安全版本1.1.1n
4073 0
CentOS7下rpm包方式升级openssl到安全版本1.1.1n