0-介绍
DataX 是一个异构数据源离线同步工具,可以实现关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
1-安装环境
jdk
1.首先执行以下命令查看可安装的jdk版本: yum -y list java* 2.选择自己需要的jdk版本进行安装,比如这里安装1.8,执行以下命令: yum install -y java-1.8.0-openjdk-devel.x86_64 3.安装完成之后,查看安装的jdk版本,输入以下指令: java -version
python
安装python yum install -y python27 查看python版本号 python --version
2.datax安装
- 将dataX.zip上传到服务器目录,命令unzip dataX.zip进行文件解压
- mv dataX ../software/ ,将解压后的文件夹复制到某个目录下
- 运行测试脚本,测试datax是否安装成功
[root@instance-co02m7eu package]# unzip dataX.zip [root@instance-co02m7eu package]# mv dataX ../software/ [root@instance-co02m7eu bin]# python datax.py /root/software/dataX/job/job.json
3.安装datax-web
3.1解压安装包及还原库文件
#datax-web-2.1.2.zip上传到服务器后进行解压 [root@node-1 pacakge]# unzip datax-web-2.1.2.zip #移动解压后的文件夹到挪个路径下 [root@node-1 pacakge]# mv datax-web-2.1.2/ ../software/ #文件夹赋予权限 [root@node-1 datax-web-2.1.2]# chmod -R 777 * [root@instance-co02m7eu bin]# pwd /root/software/datax-web-2.1.2/bin # 执行安装命令,执行之前赋权限 [root@instance-co02m7eu bin]# ./install.sh
命令执行后,按y继续,然后输入数据库相关信息
.sql文件如果未成功导入,需要到文件夹下手工导入
手动导入库文件:
[root@instance-co02m7eu db]# pwd /root/software/datax-web-2.1.2/bin/db 进入mysql 注意:需要预先创建好dataxweb数据库 mysql> use dataxweb; mysql> source datax_web.sql;
3.2修改配置文件
# 修改datax-web-2.1.2/modules/datax-admin/conf路径下的application.yml文件: [root@instance-co02m7eu conf]# pwd /root/software/datax-web-2.1.2/modules/datax-admin/conf #修改为dataxweb库所在mysql的账号密码 [root@instance-co02m7eu conf]# vi application.yml 第一张图 #修改dataxweb库所在mysql数据库相关信息 [root@instance-co02m7eu conf]# vi bootstrap.properties 第二张图 #修改datax.py路径 ,datax-web-2.1.2/modules/datax-executor/bin下 [root@instance-co02m7eu bin]# pwd /root/software/datax-web-2.1.2/modules/datax-executor/bin [root@instance-co02m7eu bin]# vi env.properties 第三张图
4.启动服务和访问
- 进入datax-web-2.1.2/bin目录下,./start-all.sh
[root@instance-co02m7eu bin]# ./start-all.sh # 执行完后输入jps回车,出现以上两个服务证明datax-web已经启动 [root@lx01 bin]# jps 4741 DataXExecutorApplication 4478 DataXAdminApplication 4783 Jps
- 部署完成后,在浏览器中输入 http://服务器IP:9527/index.html 就可以访问对应的主界面(ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口,默认端口号为9527)
- 输入用户名 admin 密码 123456 就可以直接访问系统