DataX教程(05)- DataX Web项目实践

简介: DataX教程(05)- DataX Web项目实践

01 引言


通过前面的博文,我们大概把DataX的用法、源码以及配置全部理清了:


  • 《DataX教程(01)- 入门》
  • 《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》
  • 《DataX教程(03)- 源码解读(超详细版)
  • 《DataX教程(04)- 配置完整解读》


那么,我们最终还是要把DataX应用到我们的项目中的,那么该如何使用呢?


在这里,我要推荐下DataX-Web,主要它对于项目使用者来说,提供了一个很清晰的swagger接口文档,以及可视化界面,方便理解流程,本文讲解下。


02 DataX Web概述


Github地址:https://github.com/WeiYe-Jing/datax-web


从下图,可以看到还是挺多星星的。

d3b39d17e1a646198ac36d56c957cb4a.png


官方是这样描述的DataX Web的:


DataX Web是在DataX之上开发的分布式数据同步工具,提供简单易用的 操作界面,降低用户使用DataX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。


顺便看看它的架构图:

745cca3ebc1449eea9f394ff5fafd5c7.png


总结:该项目主要的就是两个核心服务,通过调度中心服务(DataXAdminApplication)来构建任务,然后rpc远程调用调用执行器(DataXExcutor)去执行。


03 DataX Web本地运行


具体的操作步骤本文不再描述,按照官方的文档来一步步操作即可,文档地址:

https://github.com/WeiYe-Jing/datax-web/blob/master/userGuid.md


其实主要分为几个步骤:


  • 编译DataX源码,并导出编译后的文件夹,前面已经讲过了(可以参考:《DataX教程(02)- IDEA运行DataX完整流程(填完所有的坑)》)
  • 执行bin/db下面的datax_web.sql文件
  • 修改项目配置,有两个,一是datax_admin下resources/application.yml文件,另外一个是datax_executor下resources/application.yml文件。


然后需要运行两个服务,分别为:


  • DataXAdminApplication(调度中心服务)

32c08eb0e12a47fe8bd2845fddc4c846.png


-DataXExecutorApplication执行器服务,可做集群

de81111997d24de89ab80e53c4595e1a.png


04 DataX Web简单使用


启动成功后打开页面(默认管理员用户名:admin 密码:123456) http://localhost:8080/index.html#/dashboard

31ee399f24524aa58b9f155118dd04b9.png


ok,现在我想把本地MySQL数据库(bm_wxcp)里表(t_sync_log)的所有内容同步到本地SQLServer数据库(datax_web)里的表(t_sync_log_target),该如何操作呢?下面来说说。


4.1 step1: 新增数据源


首先需要新增本地的MySQL和SQLServer数据源:

2fac731638854d2d86121dd64604512f.png


新增完成后:

41cd95473616474dac6007c57345ff9c.png


4.2 step2: 新增任务模板


新增DataX任务模板,我这里新增了一个每30秒执行一次的任务:

046c379097814cadbe0c9755d37cac01.png


新增完成:

0ed7a6eb3b9b4abba9932c9b765c9c6a.png


4.3 step3: 任务构建


新增完任务了,那么现在就到了核心的事情了,就是任务的构建,即可以简单理解为配置DataX能识别的json配置。


从下图可以看到有4个步骤来构建任务,按照提示一步一步来:

0ea653fa6f5549db99b63aa028565f17.png


①构建reader:

e4435941a7ec4504a4738b67db1b2028.png


②构建writer:

070a3313042344c8930393ddb8fc4db4.png


③ 字段映射:

cc5b15a9b3e140b5bfd5f318fbe1569f.png


④ 构建任务(构建->选择模板->下一步)

image.png


⑤ 启动任务

image.png


4.4 step4: 查看任务


启动完成后,在日志管理模块,可以看到任务的执行结果:

0b24e8eec7224839b9f5c14c2d6b6c3a.png


7bb08f697ca34957b0e9e6bd10721b8e.png


在SQLServer目标源,可以看到同步成功结果:

1911e023de444f46a7494758eadce603.png


05 文末


本文主要讲了DataX Web的概念以及基本使用,具体的源码需要去Debug并应用到实际的项目中去,本文完!

目录
相关文章
|
大数据 数据库连接 DataX
基于mac构建大数据伪分布式学习环境(十二)-部署DataX+DataX Web
本文主要讲解阿里异构多数据源迁移工具DataX与其web管理界面部署
565 0
|
1月前
|
数据库 开发者 Python
web应用开发
【9月更文挑战第1天】web应用开发
40 1
|
23天前
|
数据可视化 图形学 UED
只需四步,轻松开发三维模型Web应用
为了让用户更方便地应用三维模型,阿里云DataV提供了一套完整的三维模型Web模型开发方案,包括三维模型托管、应用开发、交互开发、应用分发等完整功能。只需69.3元/年,就能体验三维模型Web应用开发功能!
43 8
只需四步,轻松开发三维模型Web应用
|
13天前
|
安全 API 开发者
Web 开发新风尚!Python RESTful API 设计与实现,让你的接口更懂开发者心!
在当前的Web开发中,Python因能构建高效简洁的RESTful API而备受青睐,大大提升了开发效率和用户体验。本文将介绍RESTful API的基本原则及其在Python中的实现方法。以Flask为例,演示了如何通过不同的HTTP方法(如GET、POST、PUT、DELETE)来创建、读取、更新和删除用户信息。此示例还包括了基本的路由设置及操作,为开发者提供了清晰的API交互指南。
59 6
|
12天前
|
存储 JSON API
实战派教程!Python Web开发中RESTful API的设计哲学与实现技巧,一网打尽!
在数字化时代,Web API成为连接前后端及构建复杂应用的关键。RESTful API因简洁直观而广受欢迎。本文通过实战案例,介绍Python Web开发中的RESTful API设计哲学与技巧,包括使用Flask框架构建一个图书管理系统的API,涵盖资源定义、请求响应设计及实现示例。通过准确使用HTTP状态码、版本控制、错误处理及文档化等技巧,帮助你深入理解RESTful API的设计与实现。希望本文能助力你的API设计之旅。
37 3
|
13天前
|
JSON API 数据库
从零到英雄?一篇文章带你搞定Python Web开发中的RESTful API实现!
在Python的Web开发领域中,RESTful API是核心技能之一。本教程将从零开始,通过实战案例教你如何使用Flask框架搭建RESTful API。首先确保已安装Python和Flask,接着通过创建一个简单的用户管理系统,逐步实现用户信息的增删改查(CRUD)操作。我们将定义路由并处理HTTP请求,最终构建出功能完整的Web服务。无论是初学者还是有经验的开发者,都能从中受益,迈出成为Web开发高手的重要一步。
37 4
|
11天前
|
开发框架 JSON 缓存
震撼发布!Python Web开发框架下的RESTful API设计全攻略,让数据交互更自由!
在数字化浪潮推动下,RESTful API成为Web开发中不可或缺的部分。本文详细介绍了在Python环境下如何设计并实现高效、可扩展的RESTful API,涵盖框架选择、资源定义、HTTP方法应用及响应格式设计等内容,并提供了基于Flask的示例代码。此外,还讨论了版本控制、文档化、安全性和性能优化等最佳实践,帮助开发者实现更流畅的数据交互体验。
32 1
|
13天前
|
JSON API 开发者
惊!Python Web开发新纪元,RESTful API设计竟能如此性感撩人?
在这个Python Web开发的新纪元里,RESTful API的设计已经超越了简单的技术实现,成为了一种追求极致用户体验和开发者友好的艺术表达。通过优雅的URL设计、合理的HTTP状态码使用、清晰的错误处理、灵活的版本控制以及严格的安全性措施,我们能够让RESTful API变得更加“性感撩人”,为Web应用注入新的活力与魅力。
31 3
|
13天前
|
SQL 安全 Go
SQL注入不可怕,XSS也不难防!Python Web安全进阶教程,让你安心做开发!
在Web开发中,安全至关重要,尤其要警惕SQL注入和XSS攻击。SQL注入通过在数据库查询中插入恶意代码来窃取或篡改数据,而XSS攻击则通过注入恶意脚本来窃取用户敏感信息。本文将带你深入了解这两种威胁,并提供Python实战技巧,包括使用参数化查询和ORM框架防御SQL注入,以及利用模板引擎自动转义和内容安全策略(CSP)防范XSS攻击。通过掌握这些方法,你将能够更加自信地应对Web安全挑战,确保应用程序的安全性。
43 3
|
15天前
|
JSON API 数据格式
深度剖析!Python Web 开发中 RESTful API 的每一个细节,你不可不知的秘密!
在 Python Web 开发中,RESTful API 是构建强大应用的关键,基于 Representational State Transfer 架构风格,利用 HTTP 卞性能。通过 GET、POST、PUT 和 DELETE 方法分别实现资源的读取、创建、更新和删除操作。示例代码展示了如何使用 Flask 路由处理这些请求,并强调了状态码的正确使用,如 200 表示成功,404 表示未找到资源等。
38 5
下一篇
无影云桌面