开发者社区> 红隐> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

DataX工具迁移DRDS到DRDS使用介绍

简介: DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
+关注继续查看

DATAX介绍
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

使用背景:
阿里云公有云环境
DRDS迁移到DRDS
单表
数据量 2500万行

使用介绍:
1.下载工具
下载网址:
link
11

2.下载完成后解压工具
22

3.配置工具配置文件:
创建一个json格式的文件,修改内容:

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "drdsreader",   //源端名字
                    "parameter": {
                        "column": ["id","bid","name","a1","a2"],  //表中包含的列
                        "password": "JINzi521",  //源端密码
                        "username": "qiany_tool",   //用户名
                         "connection": [
                            {
                                "table": ["aa3"],  //需要迁移的表名
                                "jdbcUrl": ["jdbc:mysql://drdsXXXXXXXXXXXXXXX.drds.aliyuncs.com:3306/[数据库名称]"]  //目的端JDBC链接地址
                            }
                        ]

                    }
                },
                "writer": {
                    "name": "drdswriter",  //目的端名字
                    "parameter": {
                        "column": ["id","bid","name","a1","a2"],
                        "password": "JINzi521",
                        "username": "qiany_new",

                                "table": ["aa3"],
                                "jdbcUrl": ["jdbc:mysql://drdsXXXXXXXXXXXXXXpublic.drds.aliyuncs.com:3306/qiany_new"]


                    }
                }
            }
        ],
        "setting": {
            "speed": {   
                "channel": "5" //并行数目
            }
        }
    }
}

4.启动命令正式迁移
python datax.py [你常见的配置文件名称]

5.迁移过程查看日志文件
工具目录下有log文件,查看效果如下:
33

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Link Edge函数计算介绍| 学习笔记
快速学习Link Edge函数计算介绍
11 0
Link Edge函数计算介绍| 学习笔记
快速学习Link Edge函数计算介绍
29 0
js-cookie读写浏览器中的Cookie及其应用
js-cookie读写浏览器中的Cookie及其应用
37 0
几个工具介绍
在idea中的几个插件的介绍
23 0
JDK14性能管理工具:jstack使用介绍
JDK14性能管理工具:jstack使用介绍
100 0
DataX 从HDFS文件系统上读取数据到FTP文件服务器 【举例介绍】
DataX 从HDFS文件系统上读取数据到FTP文件服务器 【举例介绍】
536 0
实时计算轻松上手,阿里云DataWorks Stream Studio正式发布
Stream Studio是DataWorks旗下重磅推出的全新子产品。已于2019年4月18日正式对外开放使用。Stream Studi是一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建,集可视化拖拽DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。
2554 0
DataWorks V2使用PyUdf
DataWorks V2的版本变动有点大,导致很多用户会问我一些基础的使用操作。本文就讲述一下,如何在DataWorks上使用PyUdf。
1832 0
+关注
文章
问答
文章排行榜
最热
最新
相关电子书
更多
分布式数据库DRDS全新升级
立即下载
阿里云总监课第五期第六节:研发挑战 - 研发过程中挑战
立即下载
阿里云创新赋能平台万创科技城站
立即下载