Windows本地安装dataX教程及读写demo

简介: DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。



一、环境搭建

Java安装(java>=1.6)

Python安装(Python>=2.6)

根据自己的系统选择相应的JDK


二、本地下载datax

       下载地址:github.com/alibaba/Dat…

下载后解压至本地某个目录,进入bin目录,即可运行同步作业:

61.jpg

三、准备好配置文件json文件

把写好的配置文件,放到 bin目录下 ;

从另一台服务器mysql数据拷贝到本地mysql服务器;

62.jpg

具体读写json格式,我就不一一介绍,详情可见:github.com/alibaba/Dat…

四、运行命令 在bin目录下 python datax.py ../job.json(配置文件)成功后会显示如下内容 :

python datax.py {YOUR_JOB.json}


解释一下:{YOUR_JOB.json}  指你写的带路径的配置文件;比如我写的demo路径;../job.json  表示bin路径的上一级目录下的job.json文件。


63.jpg

需要注意俩表同步之间 字段名可以不同 但字段数量和类型必须一样;



目录
相关文章
|
1月前
|
存储 弹性计算 运维
阿里云国际Windows操作系统迁移教程
阿里云国际Windows操作系统迁移教程
|
1月前
|
数据安全/隐私保护 Windows
安装 Windows Server 2019
安装 Windows Server 2019
|
1月前
|
Windows
安装 Windows Server 2003
安装 Windows Server 2003
|
1月前
|
NoSQL Shell MongoDB
Windows 平台安装 MongoDB
10月更文挑战第10天
39 0
Windows 平台安装 MongoDB
|
1月前
|
Windows Python
Windows安装dlib,遇到问题汇总解决
Windows安装dlib,遇到问题汇总解决
31 4
|
1月前
|
Oracle 关系型数据库 MySQL
Mysql(1)—简介及Windows环境下载安装
MySQL 是一个流行的关系型数据库管理系统(RDBMS),基于 SQL 进行操作。它由瑞典 MySQL AB 公司开发,后被 Sun Microsystems 收购,现为 Oracle 产品。MySQL 是最广泛使用的开源数据库之一,适用于 Web 应用程序、数据仓库和企业应用。
53 2
|
1月前
|
JavaScript Windows
windows安装vue
windows安装vue
|
1月前
|
应用服务中间件 Apache Windows
免安装版的Tomcat注册为windows服务
免安装版的Tomcat注册为windows服务
107 3
|
22天前
|
Linux 网络安全 虚拟化
适用于Linux的Windows子系统(WSL1)的安装与使用记录
并放到启动文件夹,就可以开机自动启动了。
26 0
|
1月前
|
Windows
安装Windows XP系统
安装Windows XP系统