为什么说datax是目前最好的异构数据源数据交换工具

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 以前我做过一个项目,其中有个需求就是每天定时把sql server中的数据同步到Mysql中,当时写了一段Java的代码来实现,一套Java代码中需要写两个数据源的连接以及两套sql的代码,十分不方便。如果还要实现Oracle、Mysql、SqlServer的互相同步,那代码逻辑就更加复杂。而且通过代码的方式,同步600万条数据要花费2个多小时,性能效率十分低下。

听说微信搜索《Java鱼仔》会变更强哦!


本文收录于JavaStarter ,里面有我完整的Java系列文章,学习或面试都可以看看哦


(一)什么是Datax


以前我做过一个项目,其中有个需求就是每天定时把sql server中的数据同步到Mysql中,当时写了一段Java的代码来实现,一套Java代码中需要写两个数据源的连接以及两套sql的代码,十分不方便。如果还要实现Oracle、Mysql、SqlServer的互相同步,那代码逻辑就更加复杂。而且通过代码的方式,同步600万条数据要花费2个多小时,性能效率十分低下。


最近在工作中接触到了一个新的工具datax,才意识到数据同步原来还有这么简单的方式。


Datax是阿里巴巴开源的一个异构数据源离线同步工具,DataX 实现了包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。


简单来讲,datax就是可以把各个数据库之间的数据来回传输同步,并且操作起来只需要配置一下json文件就可以了。


目前Datax开源在github上:github.com/alibaba/Dat…


(二)Datax架构


网络异常,图片无法展示
|


Datax的架构采用FrameWork+plugin构建,其中:


Reader:数据采集模块,负责采集数据源的数据,将数据发送给Framework


Writer:数据写入模块,负责不断向Framework取数据,并将数据写入到目的端


Framework:Framework用于连接reader和writer,作为两者的数据传输通道,并处理缓冲、流控、并发、数据转换等核心技术问题。


(三)Datax运行原理


网络异常,图片无法展示
|


Job:单个作业的管理节点,负责数据清理、子任务划分、TaskGroup监控管理


Task:由Job切分出来,是Datax的最小单元,每隔Task负责一部分数据的同步工作


Schedule:将Task组成TaskGroup,单个TaskGroup的并发数量为5. TaskGroup:负责启动Task


(四)DataX快速入门


datax的推荐系统为:


  • Linux


  • JDK(1.8以上,推荐1.8)


  • Python(推荐Python2.6.X)


  • Apache Maven 3.x (Compile DataX)


我这里就按照推荐系统进行操作。


首先我们将datax下载下来,datax的下载有两种方式,一种是直接下载压缩包,另外一种是下载源码自己手动编译,这里先展示下载压缩包的使用方式:


首先是下载datax的压缩包:datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.g…


下载下来后上传到linux服务器上,解压:


tar -zxvf datax.tar.gz

进入datax的bin目录,运行自检脚本

cd datax/bin/
python datax.py ../job/job.json 

运行结果如果是下面这样说明datax安装成功。


网络异常,图片无法展示
|


(五)datax控制台数据同步


datax的作用就是实现异构数据库之间的数据传输,并且应用起来还比较简单,只需要配置好对应的json模板,就可以对数据进行传输。


通过下面的命令,就可以拿到datax对应的json模板,比如我现在的reader是控制台数据,writer也是控制台数据:


python datax.py -r streamreader -w streamwriter

就拿到了对应的模板:

{
"job": {
"content": [
            {
"reader": {
"name": "streamreader", 
"parameter": {
"column": [], 
"sliceRecordCount": ""                    }
                }, 
"writer": {
"name": "streamwriter", 
"parameter": {
"encoding": "", 
"print": true                    }
                }
            }
        ], 
"setting": {
"speed": {
"channel": ""            }
        }
    }
}

我们简单配置一下看看效果,效果就是在控制台输出十遍hello,world,在job目录下新建一个文件叫stream2stream.json

{
"job": {
"content": [
            {
"reader": {
"name": "streamreader", 
"parameter": {
"column": [
                            {
"type":"string",
"value":"hello"                            },
                            {
"type":"string",
"value":"world"                            }
                        ], 
"sliceRecordCount": "10"                    }
                }, 
"writer": {
"name": "streamwriter", 
"parameter": {
"encoding": "UTF-8", 
"print": true                    }
                }
            }
        ], 
"setting": {
"speed": {
"channel": "1"            }
        }
    }
}

运行项目:

python datax.py ../job/stream2stream.json

查看效果


网络异常,图片无法展示
|


(六)datax mysql数据同步


因为本地只装了mysql,就直接用mysql演示数据同步,首先还是通过命令拿到基本配置模板:

python datax.py -r mysqlreader -w mysqlwriter

简单介绍一下模板:


column:表示reader或者writer中对应的列名


connection:填写连接信息


where:设置连接条件


具体的其他参数可以在官方文档中全部找到更详细说明

{
"job": {
"content": [
            {
"reader": {
"name": "mysqlreader", 
"parameter": {
"column": [],  #需要同步的列"connection": [ #连接信息                            {
"jdbcUrl": [], 
"table": []
                            }
                        ], 
"password": "",  #密码"username": "",  #用户名"where": ""#筛选条件                    }
                }, 
"writer": {
"name": "mysqlwriter", 
"parameter": {
"column": [],  #写入段的列名,与上面需要同步的值的位置保持一致"connection": [ #连接信息                            {
"jdbcUrl": "", 
"table": []
                            }
                        ], 
"password": "",  #密码"preSql": [],  #执行写入之前做的事情"session": [], #DataX在获取Mysql连接时,执行session指定的SQL语句,修改当前connectionsession属性"username": "",  #用户名"writeMode": ""#控制写入数据到目标表采用insertinto或者replaceinto或者ONDUPLICATEKEYUPDATE语句                    }
                }
            }
        ], 
"setting": {
"speed": {
"channel": ""            }
        }
    }
}

做个初始工作,在mysql中先建两张表,一张有数据,一张没有数据:

CREATETABLE `user`(`id` int(4)notnull auto_increment,`name` varchar(32)notnull,PRIMARY KEY(id))CREATETABLE `user2`(`id` int(4)notnull auto_increment,`name` varchar(32)notnull,PRIMARY KEY(id))INSERTINTO `user` VALUES(1,'javayz')INSERTINTO `user` VALUES(2,'java')

接下来配置mysql2mysql.json

{
"job": {
"content": [
            {
"reader": {
"name": "mysqlreader", 
"parameter": {
"column": [
"id",
"name"                        ], 
"connection": [
                            {
"jdbcUrl": ["jdbc:mysql://10.10.128.120:3306/test"], 
"table": ["user"]
                            }
                        ], 
"password": "123456", 
"username": "root"                    }
                }, 
"writer": {
"name": "mysqlwriter", 
"parameter": {
"column": [
"id",
"name"                        ], 
"connection": [
                            {
"jdbcUrl": "jdbc:mysql://10.10.128.120:3306/test", 
"table": ["user2"]
                            }
                        ], 
"password": "123456", 
"username": "root"                    }
                }
            }
        ], 
"setting": {
"speed": {
"channel": "1"            }
        }
    }
}

同样运行脚本:

python datax.py ../job/mysql2mysql.json

控制台输出成功之后,查看数据库,可以发现数据已经同步过去了。


(七)总结


上面展示了两种方式的数据同步,除此之外datax还支持大量的数据库,并且使用文档写的十分详细,大家有兴趣可以自己去尝试一下,十分有意思的工具。


网络异常,图片无法展示
|


我是鱼仔,我们下期再见!

相关文章
|
9天前
|
SQL 分布式计算 Oracle
数据同步工具DataX的安装
数据同步工具DataX的安装
526 0
|
9天前
|
SQL DataWorks 关系型数据库
DataWorks数据源问题之数据集成报错如何解决
DataWorks数据源是指DataWorks中配置的用于数据集成的外部数据源;本合集将讲解如何在DataWorks中配置和管理数据源,以及处理数据源连接和集成过程中的问题。
44 4
|
9天前
|
存储 关系型数据库 MySQL
DataX: 阿里开源的又一款高效数据同步工具
DataX 是由阿里巴巴集团开源的一款大数据同步工具,旨在解决不同数据存储之间的数据迁移、同步和实时交换的问题。它支持多种数据源和数据存储系统,包括关系型数据库、NoSQL 数据库、Hadoop 等。 DataX 提供了丰富的数据读写插件,可以轻松地将数据从一个数据源抽取出来,并将其加载到另一个数据存储中。它还提供了灵活的配置选项和高度可扩展的架构,以适应各种复杂的数据同步需求。
|
10月前
|
数据采集 SQL 分布式计算
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
1089 0
|
9天前
|
SQL DataWorks NoSQL
DataWorks数据源问题之数据集成任务报错如何解决
DataWorks数据源是指DataWorks中配置的用于数据集成的外部数据源;本合集将讲解如何在DataWorks中配置和管理数据源,以及处理数据源连接和集成过程中的问题。
42 5
|
9天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之DataWorks 数据集成中的数据源管理和管理空间的数据源之间的关系是怎样的
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
45 0
|
9天前
|
DataWorks 数据管理 大数据
DataWorks操作报错合集之在 DataWorks 中的数据源连通性没有问题,但仍然遇到数据集成报错的情况,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
31 1
|
9天前
|
存储 分布式计算 DataWorks
MaxCompute产品使用合集之大数据计算MaxCompute dataworks可以批量修改数据集成任务的数据源配置信息吗
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
9天前
|
存储 分布式计算 NoSQL
DataX深度剖析:解读数据传输工具的设计理念与架构特点
DataX深度剖析:解读数据传输工具的设计理念与架构特点
57 5
DataX深度剖析:解读数据传输工具的设计理念与架构特点
|
6月前
|
Java DataX Docker
arm 64 环境利用 docker 编译 datax 工具
arm 64 环境利用 docker 编译 datax 工具
110 0