datax-web安装部署

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 🍅程序员小王的博客:程序员小王的博客🍅 欢迎点赞 👍 收藏 ⭐留言 📝🍅 如有编辑错误联系作者,如果有比较好的文章欢迎分享给我,我会取其精华去其糟粕🍅java自学的学习路线:java自学的学习路线🍅该博客参考文献:datax-web官网

一、安装datax-web

(1)下载源码


在windows中,使用git下载


git clone https://github.com/WeiYe-Jing/datax-web.git


0.png


(2)从windows上传到阿里云datax-web目录下


1.png


二、项目部署在linux上并且启动

1、Maven命令行使用:mvn clean install(安装)

先把命令行切换到Maven项目的根目录,比如:然后执行命令:


2.png


解决: mvn: command not found


3.png


2、阿里云安装maven


(1)安装wget命令


  • wget是一个下载文件的工具,它用在命令行下
yum -y install wget

4.png


(2)下载maven安装包


命令:wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz


5.png


(3)解压maven安装包


linux命令中zxvf分别表示含义


这些都是tar的参数。.tar.gz是一个压缩包,.tar只是打包而没有压缩,注意这点。
1.z:通过gzip支持压缩或解压缩。还有其他的压缩或解压缩方式,比如j表示bzip2的方式。
2.x:解压缩。c:是压缩。 
3.v:在压缩或解压缩过程中显示正在处理的文件名
4.f:f后面必须跟上要处理的文件名。也就是说你不能写成这样 tar -zxfv whj-0.2.5.tar.gz 
z代表gzip的压缩包;x代表解压;v代表显示过程信息;f代表后面接的是文件 
解压并展开压缩包:“tar -xzvf 压缩包名.tar.gz”

解压缩命令:tar -zxvf apache-maven-3.5.4-bin.tar.gz


6.png


(4)配置maven: vim /etc/profile(配置文件)


在配置文件配置中加上:

1. export MAVEN_HOME=/root/apache-maven-3.5.4/(自己的目录)
2. export PATH=$MAVEN_HOME/bin:$PATH

7.png


5)让文件生效,刷新配置文件 :

source /etc/profile

8.png


(6)查看maven 版本:

mvn -version
# 或者
mvn -v

9.png


三、部署

1、查看mysql版本号

mysqladmin -uroot -p -hlocalhost version;

10.png


2、译打包(官方提供的tar包跳过)

  • 在项目的根目录下执行如下命令
mvn clean install
  • 执行成功后将会在工程的build目录下生成安装包
build/datax-web-2.1.2.tar.gz

11.png


3、开始部署


  • 在选定的安装目录,解压安装包
tar -zxvf datax-web-2.1.2.tar.gz

12.png


4、执行一键安装脚本

进入解压后的目录,找到bin目录下面的install.sh文件,如果选择交互式的安装,则直接执行

./bin/install.sh


5、配置邮箱和数据库

  • 配置数据库
vi ./modules/datax-admin/conf/bootstrap.properties

13.png


在项目目录配置邮箱: /modules/datax-admin/bin/env.properties 配置邮件服务(可跳过)

14.png



(6)设置PYTHON_PATH

文件:/datax-execute/bin/env.properties

配置:

PYTHON_PATH=/usr/mpsp/datax/bin/datax.py


5、创建mysql表

(1)启动mysql

systemctl start mysql.service

15.png


(2)给外部客户端访问权限

mysql> GRANT ALL PRIVILEGES ON *.* TO 'myuser'@'%' IDENTIFIED BY 'mypassword' WITH GRANT OPTION;
Query OK, 0 rows affected (0.00 sec)
mysql>  FLUSH   PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

16.png


(3)创建表成功


17.png


6、启动服务

(1)一键启动所有服务

./bin/start-all.sh

18.png


启动某一模块服务:./bin/start.sh -m datax-executor


启动所有:./bin/start-all.sh


关闭所有:./bin/stop-all.sh


如果项目启动失败,请检查启动日志:modules/datax-admin/bin/console.out或者modules/datax-executor/bin/console.out

19.png


相关文章
|
4月前
|
Java 应用服务中间件 Linux
Tomcat安装部署[单机软件],可以让用户开发的WEB应用程序,变成可以被访问的网页,Tomcat的使用需要jdk环境
Tomcat安装部署[单机软件],可以让用户开发的WEB应用程序,变成可以被访问的网页,Tomcat的使用需要jdk环境
|
NoSQL 数据库 开发者
安装部署—集群启动&web ui&注意事项 | 学习笔记
快速学习 安装部署—集群启动&web ui&注意事项
254 0
安装部署—集群启动&web ui&注意事项 | 学习笔记
|
21天前
|
XML JSON API
ServiceStack:不仅仅是一个高性能Web API和微服务框架,更是一站式解决方案——深入解析其多协议支持及简便开发流程,带您体验前所未有的.NET开发效率革命
【10月更文挑战第9天】ServiceStack 是一个高性能的 Web API 和微服务框架,支持 JSON、XML、CSV 等多种数据格式。它简化了 .NET 应用的开发流程,提供了直观的 RESTful 服务构建方式。ServiceStack 支持高并发请求和复杂业务逻辑,安装简单,通过 NuGet 包管理器即可快速集成。示例代码展示了如何创建一个返回当前日期的简单服务,包括定义请求和响应 DTO、实现服务逻辑、配置路由和宿主。ServiceStack 还支持 WebSocket、SignalR 等实时通信协议,具备自动验证、自动过滤器等丰富功能,适合快速搭建高性能、可扩展的服务端应用。
81 3
|
3天前
|
设计模式 前端开发 数据库
Python Web开发:Django框架下的全栈开发实战
【10月更文挑战第27天】本文介绍了Django框架在Python Web开发中的应用,涵盖了Django与Flask等框架的比较、项目结构、模型、视图、模板和URL配置等内容,并展示了实际代码示例,帮助读者快速掌握Django全栈开发的核心技术。
72 44
|
1天前
|
XML 安全 PHP
PHP与SOAP Web服务开发:基础与进阶教程
本文介绍了PHP与SOAP Web服务的基础和进阶知识,涵盖SOAP的基本概念、PHP中的SoapServer和SoapClient类的使用方法,以及服务端和客户端的开发示例。此外,还探讨了安全性、性能优化等高级主题,帮助开发者掌握更高效的Web服务开发技巧。
|
4天前
|
安全 数据库 开发者
Python Web开发:Django框架下的全栈开发实战
【10月更文挑战第26天】本文详细介绍了如何在Django框架下进行全栈开发,包括环境安装与配置、创建项目和应用、定义模型类、运行数据库迁移、创建视图和URL映射、编写模板以及启动开发服务器等步骤,并通过示例代码展示了具体实现过程。
21 2
WK
|
4天前
|
安全 Java 编译器
C++和Java哪个更适合开发web网站
在Web开发领域,C++和Java各具优势。C++以其高性能、低级控制和跨平台性著称,适用于需要高吞吐量和低延迟的场景,如实时交易系统和在线游戏服务器。Java则凭借其跨平台性、丰富的生态系统和强大的安全性,广泛应用于企业级Web开发,如企业管理系统和电子商务平台。选择时需根据项目需求和技术储备综合考虑。
WK
8 0
|
27天前
|
设计模式 测试技术 持续交付
开发复杂Web应用程序
【10月更文挑战第3天】开发复杂Web应用程序
31 2