datax-web安装部署

本文涉及的产品
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 🍅程序员小王的博客:程序员小王的博客🍅 欢迎点赞 👍 收藏 ⭐留言 📝🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕🍅java自学的学习路线:java自学的学习路线🍅该博客参考文献:datax-web官网

一、安装datax-web

(1)下载源码


在windows中,使用git下载


git clone https://github.com/WeiYe-Jing/datax-web.git


0.png


(2)从windows上传到阿里云datax-web目录下


1.png


二、项目部署在linux上并且启动

1、Maven命令行使用:mvn clean install(安装)

先把命令行切换到Maven项目的根目录,比如:然后执行命令:


2.png


解决: mvn: command not found


3.png


2、阿里云安装maven


(1)安装wget命令


  • wget是一个下载文件的工具,它用在命令行下
yum -y install wget

4.png


(2)下载maven安装包


命令:wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz


5.png


(3)解压maven安装包


linux命令中zxvf分别表示含义


这些都是tar的参数。.tar.gz是一个压缩包,.tar只是打包而没有压缩,注意这点。
1.z:通过gzip支持压缩或解压缩。还有其他的压缩或解压缩方式,比如j表示bzip2的方式。
2.x:解压缩。c:是压缩。 
3.v:在压缩或解压缩过程中显示正在处理的文件名
4.f:f后面必须跟上要处理的文件名。也就是说你不能写成这样 tar -zxfv whj-0.2.5.tar.gz 
z代表gzip的压缩包;x代表解压;v代表显示过程信息;f代表后面接的是文件 
解压并展开压缩包:“tar -xzvf 压缩包名.tar.gz”

解压缩命令:tar -zxvf apache-maven-3.5.4-bin.tar.gz


6.png


(4)配置maven: vim /etc/profile(配置文件)


在配置文件配置中加上:

1. export MAVEN_HOME=/root/apache-maven-3.5.4/(自己的目录)
2. export PATH=$MAVEN_HOME/bin:$PATH

7.png


5)让文件生效,刷新配置文件 :

source /etc/profile

8.png


(6)查看maven 版本:

mvn -version
# 或者
mvn -v

9.png


三、部署

1、查看mysql版本号

mysqladmin -uroot -p -hlocalhost version;

10.png


2、译打包(官方提供的tar包跳过)

  • 在项目的根目录下执行如下命令
mvn clean install
  • 执行成功后将会在工程的build目录下生成安装包
build/datax-web-2.1.2.tar.gz

11.png


3、开始部署


  • 在选定的安装目录,解压安装包
tar -zxvf datax-web-2.1.2.tar.gz

12.png


4、执行一键安装脚本

进入解压后的目录,找到bin目录下面的install.sh文件,如果选择交互式的安装,则直接执行

./bin/install.sh


5、配置邮箱和数据库

  • 配置数据库
vi ./modules/datax-admin/conf/bootstrap.properties

13.png


在项目目录配置邮箱: /modules/datax-admin/bin/env.properties 配置邮件服务(可跳过)

14.png



(6)设置PYTHON_PATH

文件:/datax-execute/bin/env.properties

配置:

PYTHON_PATH=/usr/mpsp/datax/bin/datax.py


5、创建mysql表

(1)启动mysql

systemctl start mysql.service

15.png


(2)给外部客户端访问权限

mysql> GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;
Query OK, 0 rows affected (0.00 sec)
mysql>  FLUSH   PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

16.png


(3)创建表成功


17.png


6、启动服务

(1)一键启动所有服务

./bin/start-all.sh

18.png


启动某一模块服务:./bin/start.sh -m datax-executor


启动所有:./bin/start-all.sh


关闭所有:./bin/stop-all.sh


如果项目启动失败,请检查启动日志:modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out

19.png


相关文章
|
10天前
|
Java 应用服务中间件 Linux
Tomcat安装部署[单机软件],可以让用户开发的WEB应用程序,变成可以被访问的网页,Tomcat的使用需要jdk环境
Tomcat安装部署[单机软件],可以让用户开发的WEB应用程序,变成可以被访问的网页,Tomcat的使用需要jdk环境
|
NoSQL 数据库 开发者
安装部署—集群启动&web ui&注意事项 | 学习笔记
快速学习 安装部署—集群启动&web ui&注意事项
237 0
安装部署—集群启动&web ui&注意事项 | 学习笔记
|
2天前
|
前端开发 API 开发者
Python Web开发者必看!AJAX、Fetch API实战技巧,让前后端交互如丝般顺滑!
【7月更文挑战第13天】在Web开发中,AJAX和Fetch API是实现页面无刷新数据交换的关键。在Flask博客系统中,通过创建获取评论的GET路由,我们可以展示使用AJAX和Fetch API的前端实现。AJAX通过XMLHttpRequest发送请求,处理响应并在成功时更新DOM。Fetch API则使用Promise简化异步操作,代码更现代。这两个工具都能实现不刷新页面查看评论,Fetch API的语法更简洁,错误处理更直观。掌握这些技巧能提升Python Web项目的用户体验和开发效率。
15 7
|
2天前
|
API 数据库 开发者
逆袭之路!Django/Flask助你成为Web开发界的璀璨新星!
【7月更文挑战第13天】在Python Web开发中,Django和Flask各具优势。Django适合快速构建大型项目,如在线书店,其ORM和内置功能让复杂应用轻松上手。Flask则以其轻量和灵活性见长,适用于个人博客等小型应用。选择框架应根据项目需求和个人偏好,两者都能助开发者在Web开发领域大放异彩。
11 2
|
3天前
|
安全 大数据 编译器
PHP 8: 探索新特性及其对现代Web开发的影响
在这篇文章中,我们将深入探讨PHP 8的最新特性,包括JIT编译器、联合类型、匹配表达式等,并分析这些更新如何影响现代Web开发。通过具体示例和代码片段,本文旨在为开发者提供一个清晰的指南,以便更好地利用PHP 8的新功能优化和加速他们的应用程序。
10 2
|
3天前
|
编译器 测试技术 PHP
深入理解PHP 7的新特性及其对现代Web开发的影响
【7月更文挑战第12天】本文将探讨PHP 7版本中引入的关键改进和新增功能,以及这些变化如何优化了性能、提升了代码的可维护性,并促进了现代Web开发的最佳实践。通过具体示例,我们将深入了解这些新特性在日常开发中的应用,以及它们为开发者带来的实际益处。
10 2
|
3天前
|
数据库 开发者 Python
从菜鸟到大神,Django/Flask 让你秒变 Web 开发界的‘头号玩家’!
【7月更文挑战第12天】在Python Web开发中,Django和Flask框架各具特色。Flask轻量灵活,适合快速搭建简单应用,如博客,基本代码仅需几行。Django则功能全面,适用于复杂项目,如电商网站,内置ORM和管理后台。两者都助力开发者从新手进阶。选择取决于项目需求和个人偏好。学习和实践这两个框架,能助你成为Web开发专家。
|
3天前
|
PHP 开发者
PHP 8 新特性及其对现代Web开发的影响
PHP 8作为最新版本,引入了一系列强大的新特性和改进,这些变化不仅仅是语言本身的提升,更深刻地影响了现代Web开发的方式和效率。本文将深入探讨PHP 8的关键特性,分析其在开发实践中的应用和优势,帮助开发者更好地理解和利用这些新特性。 【7月更文挑战第12天】
9 1