DataX工具迁移DRDS到DRDS使用介绍

本文涉及的产品
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介: DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

DATAX介绍
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

使用背景:
阿里云公有云环境
DRDS迁移到DRDS
单表
数据量 2500万行

使用介绍:
1.下载工具
下载网址:
link
11

2.下载完成后解压工具
22

3.配置工具配置文件:
创建一个json格式的文件,修改内容:

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "drdsreader",   //源端名字
                    "parameter": {
                        "column": ["id","bid","name","a1","a2"],  //表中包含的列
                        "password": "JINzi521",  //源端密码
                        "username": "qiany_tool",   //用户名
                         "connection": [
                            {
                                "table": ["aa3"],  //需要迁移的表名
                                "jdbcUrl": ["jdbc:mysql://drdsXXXXXXXXXXXXXXX.drds.aliyuncs.com:3306/[数据库名称]"]  //目的端JDBC链接地址
                            }
                        ]

                    }
                },
                "writer": {
                    "name": "drdswriter",  //目的端名字
                    "parameter": {
                        "column": ["id","bid","name","a1","a2"],
                        "password": "JINzi521",
                        "username": "qiany_new",

                                "table": ["aa3"],
                                "jdbcUrl": ["jdbc:mysql://drdsXXXXXXXXXXXXXXpublic.drds.aliyuncs.com:3306/qiany_new"]


                    }
                }
            }
        ],
        "setting": {
            "speed": {   
                "channel": "5" //并行数目
            }
        }
    }
}

4.启动命令正式迁移
python datax.py [你常见的配置文件名称]

5.迁移过程查看日志文件
工具目录下有log文件,查看效果如下:
33

相关实践学习
Polardb-x 弹性伸缩实验
本实验主要介绍如何对PolarDB-X进行手动收缩扩容,了解PolarDB-X 中各个节点的含义,以及如何对不同配置的PolarDB-x 进行压测。
目录
相关文章
|
5月前
|
数据库 数据库管理
实时数仓Hologres可以使用DMS(Data Management Service)进行数据集成和迁移
实时数仓Hologres可以使用DMS(Data Management Service)进行数据集成和迁移
34 2
|
8月前
|
数据采集 SQL 分布式计算
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
796 0
|
1月前
|
SQL 关系型数据库 MySQL
drds兼容性与迁移问题
drds兼容性与迁移问题
19 6
|
3月前
|
SQL 分布式计算 Oracle
数据同步工具DataX的安装
数据同步工具DataX的安装
239 0
|
3月前
|
存储 关系型数据库 MySQL
DataX: 阿里开源的又一款高效数据同步工具
DataX 是由阿里巴巴集团开源的一款大数据同步工具,旨在解决不同数据存储之间的数据迁移、同步和实时交换的问题。它支持多种数据源和数据存储系统,包括关系型数据库、NoSQL 数据库、Hadoop 等。 DataX 提供了丰富的数据读写插件,可以轻松地将数据从一个数据源抽取出来,并将其加载到另一个数据存储中。它还提供了灵活的配置选项和高度可扩展的架构,以适应各种复杂的数据同步需求。
|
4月前
|
Java DataX Docker
arm 64 环境利用 docker 编译 datax 工具
arm 64 环境利用 docker 编译 datax 工具
60 0
|
5月前
|
SQL API Apache
Dinky是一个基于Apache Flink的数据集成工具
Dinky是一个基于Apache Flink的数据集成工具
202 1
|
11月前
|
存储 SQL JSON
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!下
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!下
|
11月前
|
存储 JavaScript 小程序
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!上
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!上
|
11月前
|
存储 SQL JSON
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!(2)
阿里又开源一款数据同步工具 DataX,稳定又高效,好用到爆!
278 0