DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
一、环境搭建
Java安装(java>=1.6)
Python安装(Python>=2.6)
根据自己的系统选择相应的JDK
二、本地下载datax
下载后解压至本地某个目录,进入bin目录,即可运行同步作业:
三、准备好配置文件json文件
把写好的配置文件,放到 bin目录下 ;
从另一台服务器mysql数据拷贝到本地mysql服务器;
具体读写json格式,我就不一一介绍,详情可见:github.com/alibaba/Dat…
四、运行命令 在bin目录下 python datax.py ../job.json(配置文件)成功后会显示如下内容 :
python datax.py {YOUR_JOB.json}
解释一下:{YOUR_JOB.json} 指你写的带路径的配置文件;比如我写的demo路径;../job.json 表示bin路径的上一级目录下的job.json文件。
需要注意俩表同步之间 字段名可以不同 但字段数量和类型必须一样;