开发者社区> 红隐> 正文

DataX工具迁移DRDS到DRDS使用介绍

简介: DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
+关注继续查看

DATAX介绍
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

使用背景:
阿里云公有云环境
DRDS迁移到DRDS
单表
数据量 2500万行

使用介绍:
1.下载工具
下载网址:
link
11

2.下载完成后解压工具
22

3.配置工具配置文件:
创建一个json格式的文件,修改内容:

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "drdsreader",   //源端名字
                    "parameter": {
                        "column": ["id","bid","name","a1","a2"],  //表中包含的列
                        "password": "JINzi521",  //源端密码
                        "username": "qiany_tool",   //用户名
                         "connection": [
                            {
                                "table": ["aa3"],  //需要迁移的表名
                                "jdbcUrl": ["jdbc:mysql://drdsXXXXXXXXXXXXXXX.drds.aliyuncs.com:3306/[数据库名称]"]  //目的端JDBC链接地址
                            }
                        ]

                    }
                },
                "writer": {
                    "name": "drdswriter",  //目的端名字
                    "parameter": {
                        "column": ["id","bid","name","a1","a2"],
                        "password": "JINzi521",
                        "username": "qiany_new",

                                "table": ["aa3"],
                                "jdbcUrl": ["jdbc:mysql://drdsXXXXXXXXXXXXXXpublic.drds.aliyuncs.com:3306/qiany_new"]


                    }
                }
            }
        ],
        "setting": {
            "speed": {   
                "channel": "5" //并行数目
            }
        }
    }
}

4.启动命令正式迁移
python datax.py [你常见的配置文件名称]

5.迁移过程查看日志文件
工具目录下有log文件,查看效果如下:
33

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
[工具使用]搜索引擎 Hacking(上)
[工具使用]搜索引擎 Hacking
27 0
SQLite数据库常用语句及MAC上的SQLite可视化工具MeasSQLlite使用(二)
SQLite数据库常用语句及MAC上的SQLite可视化工具MeasSQLlite使用
82 0
CV之face_recognition:Py之face_recognition库安装、介绍、使用方法详细攻略
CV之face_recognition:Py之face_recognition库安装、介绍、使用方法详细攻略
53 0
[工具使用]搜索引擎 Hacking(下)
[工具使用]搜索引擎 Hacking
53 0
【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍
本文主要对Databricks如何使用Spark Streaming和Delta Lake对流式数据进行数据质量监控的方法和架构进行了介绍,本文探讨了一种数据管理架构,该架构可以在数据到达时,通过主动监控和分析来检测流式数据中损坏或不良的数据,并且不会造成瓶颈。
1383 0
今日直播分享:系统性能监控工具 ssar 使用介绍和案例
今天下午15:00,龙蜥SIG周会分享:系统性能监控工具 ssar 使用介绍和案例分享。
89 0
Android Studio 通过一个登录功能介绍SQLite数据库的使用
前言:         SQLite简介:是一款轻型的数据库,是遵守ACID的关系型数据库管理系统,它包含在一个相对小的C库中。它是D.RichardHipp建立的公有领域项目。它的设计目标是嵌入式的,而且目前已经在很多嵌入式产品中使用了它,它占用资源非常的低,在嵌入式设备中,可能只需要几百K的内存就够了。
4299 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
10122 0
+关注
6
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载