DataX入门指南:快速部署和安装指南

简介: DataX入门指南:快速部署和安装指南

环境准备

  1. Linux 操作系统
  2. JDK(1.8 及其以上都可以,推荐 1.8)
  3. Python(2 或者 3 都可以)
  4. Apache Maven 3.X(源码编译安装需要)

二进制安装

下载安装包

下载 DataX 的工具包,下载地址:https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202308/datax.tar.gz

上传安装包

将下载好的安装包上传至 Linux 系统的 /opt 目录下。

解压安装包

tar -zxvf datax.tar.gz

验证安装

进入 bin 目录,即可运行同步作业:

cd  {YOUR_DATAX_HOME}/bin
python datax.py {YOUR_JOB.json}

执行自检脚本:

python3 bin/datax.py job/job.json

源码编译安装

环境准备

源码编译需要安装 Maven 3.X 环境。

下载源码

下载 DataX 源码:git clone git@github.com:alibaba/DataX.git

Maven 打包

cd  {DataX_source_code_home}
mvn -U clean package assembly:assembly -Dmaven.test.skip=true

打包成功,日志显示如下:

[INFO] BUILD SUCCESS
[INFO] -----------------------------------------------------------------
[INFO] Total time: 08:12 min
[INFO] Finished at: 2015-12-13T16:26:48+08:00
[INFO] Final Memory: 133M/960M
[INFO] -----------------------------------------------------------------

打包成功后的 DataX 包位于 {DataX_source_code_home}/target/datax/datax/,结构如下:

cd  {DataX_source_code_home}
ls ./target/datax/datax/
bin   conf    job   lib   log   log_perf  plugin    script    tmp

验证安装

验证部署和上述二进制安装方式相同。


相关文章
|
13天前
|
SQL 分布式计算 Oracle
数据同步工具DataX的安装
数据同步工具DataX的安装
537 0
|
2天前
|
存储 监控 关系型数据库
DataX 概述、部署、数据同步运用示例
DataX是阿里巴巴开源的离线数据同步工具,支持多种数据源之间的高效传输。其特点是多数据源支持、可扩展性、灵活配置、高效传输、任务调度监控和活跃的开源社区支持。DataX通过Reader和Writer插件实现数据源的读取和写入,采用Framework+plugin架构。部署简单,解压即可用。示例展示了如何配置DataX同步MySQL到HDFS,并提供了速度和内存优化建议。此外,还解决了NULL值同步问题及配置文件变量传参的方法。
|
13天前
|
关系型数据库 MySQL 分布式数据库
DataX下载安装
DataX下载安装
217 0
|
6月前
|
存储 NoSQL 关系型数据库
DataX教程(01)- 入门
DataX教程(01)- 入门
421 0
|
9月前
|
JSON 缓存 关系型数据库
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
|
9月前
|
存储 SQL JSON
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
|
Java 关系型数据库 MySQL
windows部署DataX及运行dataX_WEB
windows部署DataX及运行dataX_WEB
2123 0
windows部署DataX及运行dataX_WEB
|
大数据 数据库连接 DataX
基于mac构建大数据伪分布式学习环境(十二)-部署DataX+DataX Web
本文主要讲解阿里异构多数据源迁移工具DataX与其web管理界面部署
505 0
|
Java 关系型数据库 DataX
数据迁移工具DataX部署与使用
概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
5629 0
|
13天前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。