datax-web安装部署

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 🍅程序员小王的博客:程序员小王的博客🍅 欢迎点赞 👍 收藏 ⭐留言 📝🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕🍅java自学的学习路线:java自学的学习路线🍅该博客参考文献:datax-web官网

一、安装datax-web

(1)下载源码


在windows中,使用git下载


git clone https://github.com/WeiYe-Jing/datax-web.git


0.png


(2)从windows上传到阿里云datax-web目录下


1.png


二、项目部署在linux上并且启动

1、Maven命令行使用:mvn clean install(安装)

先把命令行切换到Maven项目的根目录,比如:然后执行命令:


2.png


解决: mvn: command not found


3.png


2、阿里云安装maven


(1)安装wget命令


  • wget是一个下载文件的工具,它用在命令行下
yum -y install wget

4.png


(2)下载maven安装包


命令:wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz


5.png


(3)解压maven安装包


linux命令中zxvf分别表示含义


这些都是tar的参数。.tar.gz是一个压缩包,.tar只是打包而没有压缩,注意这点。
1.z:通过gzip支持压缩或解压缩。还有其他的压缩或解压缩方式,比如j表示bzip2的方式。
2.x:解压缩。c:是压缩。 
3.v:在压缩或解压缩过程中显示正在处理的文件名
4.f:f后面必须跟上要处理的文件名。也就是说你不能写成这样 tar -zxfv whj-0.2.5.tar.gz 
z代表gzip的压缩包;x代表解压;v代表显示过程信息;f代表后面接的是文件 
解压并展开压缩包:“tar -xzvf 压缩包名.tar.gz”

解压缩命令:tar -zxvf apache-maven-3.5.4-bin.tar.gz


6.png


(4)配置maven: vim /etc/profile(配置文件)


在配置文件配置中加上:

1. export MAVEN_HOME=/root/apache-maven-3.5.4/(自己的目录)
2. export PATH=$MAVEN_HOME/bin:$PATH

7.png


5)让文件生效,刷新配置文件 :

source /etc/profile

8.png


(6)查看maven 版本:

mvn -version
# 或者
mvn -v

9.png


三、部署

1、查看mysql版本号

mysqladmin -uroot -p -hlocalhost version;

10.png


2、译打包(官方提供的tar包跳过)

  • 在项目的根目录下执行如下命令
mvn clean install
  • 执行成功后将会在工程的build目录下生成安装包
build/datax-web-2.1.2.tar.gz

11.png


3、开始部署


  • 在选定的安装目录,解压安装包
tar -zxvf datax-web-2.1.2.tar.gz

12.png


4、执行一键安装脚本

进入解压后的目录,找到bin目录下面的install.sh文件,如果选择交互式的安装,则直接执行

./bin/install.sh


5、配置邮箱和数据库

  • 配置数据库
vi ./modules/datax-admin/conf/bootstrap.properties

13.png


在项目目录配置邮箱: /modules/datax-admin/bin/env.properties 配置邮件服务(可跳过)

14.png



(6)设置PYTHON_PATH

文件:/datax-execute/bin/env.properties

配置:

PYTHON_PATH=/usr/mpsp/datax/bin/datax.py


5、创建mysql表

(1)启动mysql

systemctl start mysql.service

15.png


(2)给外部客户端访问权限

mysql> GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;
Query OK, 0 rows affected (0.00 sec)
mysql>  FLUSH   PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

16.png


(3)创建表成功


17.png


6、启动服务

(1)一键启动所有服务

./bin/start-all.sh

18.png


启动某一模块服务:./bin/start.sh -m datax-executor


启动所有:./bin/start-all.sh


关闭所有:./bin/stop-all.sh


如果项目启动失败,请检查启动日志:modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out

19.png


相关文章
|
1天前
|
设计模式 开发框架 数据库
Python Web开发主要常用的框架
【5月更文挑战第12天】Python Web开发框架包括Django、Flask、Tornado和Pyramid。Django适用于复杂应用,提供ORM、模板引擎等全套功能;Flask轻量级,易于扩展,适合小型至中型项目;Tornado擅长处理高并发,支持异步和WebSockets;Pyramid灵活强大,可适配多种数据库和模板引擎,适用于各种规模项目。选择框架需依据项目需求和技术栈。
68 2
|
1天前
|
关系型数据库 MySQL
web简易开发(二){html5+php实现文件上传及通过关键字搜索已上传图片)}
web简易开发(二){html5+php实现文件上传及通过关键字搜索已上传图片)}
|
1天前
|
Web App开发 前端开发 JavaScript
什么是 Web 应用开发领域的 Frontend Fragmentation(前端碎片化)现象
什么是 Web 应用开发领域的 Frontend Fragmentation(前端碎片化)现象
9 0
|
1天前
|
缓存 前端开发
Web开发:深入探讨React Hooks的使用和最佳实践
Web开发:深入探讨React Hooks的使用和最佳实践
9 0
|
1天前
|
安全 测试技术 持续交付
在Python Web开发中,测试是一个至关重要的环节
【5月更文挑战第12天】在Python Web开发中,测试至关重要,包括单元测试(unittest模块)、集成测试、功能测试、系统测试、验收测试、性能测试、安全测试和端到端测试。常用的测试工具有unittest、pytest、selenium、requests和coverage。遵循“测试先行”和“持续集成”原则,确保代码质量与稳定性。
81 3
|
1天前
|
编解码 数据库 计算机视觉
LabVIEW开发基于Web数字图像处理
LabVIEW开发基于Web数字图像处理
|
1天前
|
前端开发 JavaScript Java
Java与Web开发的结合:JSP与Servlet
Java与Web开发的结合:JSP与Servlet
11 0
|
1天前
|
存储 程序员 API
python web开发示例详解
python web开发示例详解
17 0
|
1天前
|
XML 前端开发 JavaScript
CSR(客户端渲染)和AJAX在Web开发中各自扮演不同的角色
【5月更文挑战第8天】CSR(客户端渲染)与AJAX在Web开发中各司其职。CSR提供初始HTML框架,通过JavaScript在浏览器端获取并渲染数据,提升交互性和响应速度。AJAX则实现页面局部更新,如实时搜索,不刷新页面即可获取数据。CSR可能因DOM操作多而引发性能问题,但可优化解决;AJAX适合频繁交互场景,提高响应性。两者在不同需求下各有优势,需按项目选择适用技术。
16 4