01 引言
通过前面的博文,我们大概把DataX的用法、源码以及配置全部理清了:
- 《DataX教程(01)- 入门》
- 《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》
- 《DataX教程(03)- 源码解读(超详细版)
- 《DataX教程(04)- 配置完整解读》
那么,我们最终还是要把DataX应用到我们的项目中的,那么该如何使用呢?
在这里,我要推荐下DataX-Web,主要它对于项目使用者来说,提供了一个很清晰的swagger接口文档,以及可视化界面,方便理解流程,本文讲解下。
02 DataX Web概述
Github地址:https://github.com/WeiYe-Jing/datax-web
从下图,可以看到还是挺多星星的。
官方是这样描述的DataX Web的:
DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。
顺便看看它的架构图:
总结:该项目主要的就是两个核心服务,通过调度中心服务(DataXAdminApplication)来构建任务,然后rpc远程调用调用执行器(DataXExcutor)去执行。
03 DataX Web本地运行
具体的操作步骤本文不再描述,按照官方的文档来一步步操作即可,文档地址:
https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md
其实主要分为几个步骤:
- 编译DataX源码,并导出编译后的文件夹,前面已经讲过了(可以参考:《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》)
- 执行bin/db下面的datax_web.sql文件
- 修改项目配置,有两个,一是datax_admin下resources/application.yml文件,另外一个是datax_executor下resources/application.yml文件。
然后需要运行两个服务,分别为:
- DataXAdminApplication(调度中心服务)
-DataXExecutorApplication
(执行器服务,可做集群)
04 DataX Web简单使用
启动成功后打开页面(默认管理员用户名:admin 密码:123456) http://localhost:8080/index.html#/dashboard
ok,现在我想把本地MySQL数据库(bm_wxcp)里表(t_sync_log)的所有内容同步到本地SQLServer数据库(datax_web)里的表(t_sync_log_target),该如何操作呢?下面来说说。
4.1 step1: 新增数据源
首先需要新增本地的MySQL和SQLServer数据源:
新增完成后:
4.2 step2: 新增任务模板
新增DataX任务模板,我这里新增了一个每30秒执行一次的任务:
新增完成:
4.3 step3: 任务构建
新增完任务了,那么现在就到了核心的事情了,就是任务的构建,即可以简单理解为配置DataX
能识别的json
配置。
从下图可以看到有4个步骤来构建任务,按照提示一步一步来:
①构建reader:
②构建writer:
③ 字段映射:
④ 构建任务(构建->选择模板->下一步)
⑤ 启动任务
4.4 step4: 查看任务
启动完成后,在日志管理模块,可以看到任务的执行结果:
在SQLServer目标源,可以看到同步成功结果:
05 文末
本文主要讲了DataX Web
的概念以及基本使用,具体的源码需要去Debug
并应用到实际的项目中去,本文完!