DataX教程(05)- DataX Web项目实践

简介: DataX教程(05)- DataX Web项目实践

01 引言


通过前面的博文,我们大概把DataX的用法、源码以及配置全部理清了:


  • 《DataX教程(01)- 入门》
  • 《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》
  • 《DataX教程(03)- 源码解读(超详细版)
  • 《DataX教程(04)- 配置完整解读》


那么,我们最终还是要把DataX应用到我们的项目中的,那么该如何使用呢?


在这里,我要推荐下DataX-Web,主要它对于项目使用者来说,提供了一个很清晰的swagger接口文档,以及可视化界面,方便理解流程,本文讲解下。


02 DataX Web概述


Github地址:https://github.com/WeiYe-Jing/datax-web


从下图,可以看到还是挺多星星的。

d3b39d17e1a646198ac36d56c957cb4a.png


官方是这样描述的DataX Web的:


DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。


顺便看看它的架构图:

745cca3ebc1449eea9f394ff5fafd5c7.png


总结:该项目主要的就是两个核心服务,通过调度中心服务(DataXAdminApplication)来构建任务,然后rpc远程调用调用执行器(DataXExcutor)去执行。


03 DataX Web本地运行


具体的操作步骤本文不再描述,按照官方的文档来一步步操作即可,文档地址:

https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md


其实主要分为几个步骤:


  • 编译DataX源码,并导出编译后的文件夹,前面已经讲过了(可以参考:《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》)
  • 执行bin/db下面的datax_web.sql文件
  • 修改项目配置,有两个,一是datax_admin下resources/application.yml文件,另外一个是datax_executor下resources/application.yml文件。


然后需要运行两个服务,分别为:


  • DataXAdminApplication(调度中心服务)

32c08eb0e12a47fe8bd2845fddc4c846.png


-DataXExecutorApplication执行器服务,可做集群

de81111997d24de89ab80e53c4595e1a.png


04 DataX Web简单使用


启动成功后打开页面(默认管理员用户名:admin 密码:123456) http://localhost:8080/index.html#/dashboard

31ee399f24524aa58b9f155118dd04b9.png


ok,现在我想把本地MySQL数据库(bm_wxcp)里表(t_sync_log)的所有内容同步到本地SQLServer数据库(datax_web)里的表(t_sync_log_target),该如何操作呢?下面来说说。


4.1 step1: 新增数据源


首先需要新增本地的MySQL和SQLServer数据源:

2fac731638854d2d86121dd64604512f.png


新增完成后:

41cd95473616474dac6007c57345ff9c.png


4.2 step2: 新增任务模板


新增DataX任务模板,我这里新增了一个每30秒执行一次的任务:

046c379097814cadbe0c9755d37cac01.png


新增完成:

0ed7a6eb3b9b4abba9932c9b765c9c6a.png


4.3 step3: 任务构建


新增完任务了,那么现在就到了核心的事情了,就是任务的构建,即可以简单理解为配置DataX能识别的json配置。


从下图可以看到有4个步骤来构建任务,按照提示一步一步来:

0ea653fa6f5549db99b63aa028565f17.png


①构建reader:

e4435941a7ec4504a4738b67db1b2028.png


②构建writer:

070a3313042344c8930393ddb8fc4db4.png


③ 字段映射:

cc5b15a9b3e140b5bfd5f318fbe1569f.png


④ 构建任务(构建->选择模板->下一步)

image.png


⑤ 启动任务

image.png


4.4 step4: 查看任务


启动完成后,在日志管理模块,可以看到任务的执行结果:

0b24e8eec7224839b9f5c14c2d6b6c3a.png


7bb08f697ca34957b0e9e6bd10721b8e.png


在SQLServer目标源,可以看到同步成功结果:

1911e023de444f46a7494758eadce603.png


05 文末


本文主要讲了DataX Web的概念以及基本使用,具体的源码需要去Debug并应用到实际的项目中去,本文完!

目录
相关文章
|
大数据 数据库连接 DataX
基于mac构建大数据伪分布式学习环境(十二)-部署DataX+DataX Web
本文主要讲解阿里异构多数据源迁移工具DataX与其web管理界面部署
610 0
|
2月前
|
XML JSON API
ServiceStack:不仅仅是一个高性能Web API和微服务框架,更是一站式解决方案——深入解析其多协议支持及简便开发流程,带您体验前所未有的.NET开发效率革命
【10月更文挑战第9天】ServiceStack 是一个高性能的 Web API 和微服务框架,支持 JSON、XML、CSV 等多种数据格式。它简化了 .NET 应用的开发流程,提供了直观的 RESTful 服务构建方式。ServiceStack 支持高并发请求和复杂业务逻辑,安装简单,通过 NuGet 包管理器即可快速集成。示例代码展示了如何创建一个返回当前日期的简单服务,包括定义请求和响应 DTO、实现服务逻辑、配置路由和宿主。ServiceStack 还支持 WebSocket、SignalR 等实时通信协议,具备自动验证、自动过滤器等丰富功能,适合快速搭建高性能、可扩展的服务端应用。
166 3
|
1月前
|
设计模式 前端开发 数据库
Python Web开发:Django框架下的全栈开发实战
【10月更文挑战第27天】本文介绍了Django框架在Python Web开发中的应用,涵盖了Django与Flask等框架的比较、项目结构、模型、视图、模板和URL配置等内容,并展示了实际代码示例,帮助读者快速掌握Django全栈开发的核心技术。
182 45
|
21天前
|
前端开发 安全 JavaScript
2025年,Web3开发学习路线全指南
本文提供了一条针对Dapp应用开发的学习路线,涵盖了Web3领域的重要技术栈,如区块链基础、以太坊技术、Solidity编程、智能合约开发及安全、web3.js和ethers.js库的使用、Truffle框架等。文章首先分析了国内区块链企业的技术需求,随后详细介绍了每个技术点的学习资源和方法,旨在帮助初学者系统地掌握Dapp开发所需的知识和技能。
2025年,Web3开发学习路线全指南
|
27天前
|
存储 前端开发 JavaScript
如何在项目中高效地进行 Web 组件化开发
高效地进行 Web 组件化开发需要从多个方面入手,通过明确目标、合理规划、规范开发、加强测试等一系列措施,实现组件的高效管理和利用,从而提高项目的整体开发效率和质量,为用户提供更好的体验。
30 7
|
1月前
|
开发框架 搜索推荐 数据可视化
Django框架适合开发哪种类型的Web应用程序?
Django 框架凭借其强大的功能、稳定性和可扩展性,几乎可以适应各种类型的 Web 应用程序开发需求。无论是简单的网站还是复杂的企业级系统,Django 都能提供可靠的支持,帮助开发者快速构建高质量的应用。同时,其活跃的社区和丰富的资源也为开发者在项目实施过程中提供了有力的保障。
|
1月前
|
开发框架 JavaScript 前端开发
TypeScript 是一种静态类型的编程语言,它扩展了 JavaScript,为 Web 开发带来了强大的类型系统、组件化开发支持、与主流框架的无缝集成、大型项目管理能力和提升开发体验等多方面优势
TypeScript 是一种静态类型的编程语言,它扩展了 JavaScript,为 Web 开发带来了强大的类型系统、组件化开发支持、与主流框架的无缝集成、大型项目管理能力和提升开发体验等多方面优势。通过明确的类型定义,TypeScript 能够在编码阶段发现潜在错误,提高代码质量;支持组件的清晰定义与复用,增强代码的可维护性;与 React、Vue 等框架结合,提供更佳的开发体验;适用于大型项目,优化代码结构和性能。随着 Web 技术的发展,TypeScript 的应用前景广阔,将继续引领 Web 开发的新趋势。
38 2
|
1月前
|
前端开发 API 开发者
Python Web开发者必看!AJAX、Fetch API实战技巧,让前后端交互如丝般顺滑!
在Web开发中,前后端的高效交互是提升用户体验的关键。本文通过一个基于Flask框架的博客系统实战案例,详细介绍了如何使用AJAX和Fetch API实现不刷新页面查看评论的功能。从后端路由设置到前端请求处理,全面展示了这两种技术的应用技巧,帮助Python Web开发者提升项目质量和开发效率。
53 1
|
1月前
|
XML 安全 PHP
PHP与SOAP Web服务开发:基础与进阶教程
本文介绍了PHP与SOAP Web服务的基础和进阶知识,涵盖SOAP的基本概念、PHP中的SoapServer和SoapClient类的使用方法,以及服务端和客户端的开发示例。此外,还探讨了安全性、性能优化等高级主题,帮助开发者掌握更高效的Web服务开发技巧。
|
1月前
|
安全 数据库 开发者
Python Web开发:Django框架下的全栈开发实战
【10月更文挑战第26天】本文详细介绍了如何在Django框架下进行全栈开发,包括环境安装与配置、创建项目和应用、定义模型类、运行数据库迁移、创建视图和URL映射、编写模板以及启动开发服务器等步骤,并通过示例代码展示了具体实现过程。
65 2