阿里云开源离线同步工具DataX3.0介绍
阿里云开源离线同步工具DataX3.0介绍
一. DataX3.0概览
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
DataX使用指南——ODPS to ODPS
1. DataX是什么
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
ODPS数据迁移指南
1. 背景调研
1.1 ODPS源与目的集群
调研项
内容
ODPS源集群版本
ODPS目的集群版本
ODPS源与目的是否在一个集群/可使用相同账号
ODPS源集群AccessKeyId
ODPS源集群AccessKeySecret
ODPS目的集群AccessKeyId
ODPS目的集群AccessKeyIdSecret
1.2 预迁移数据统计
所属Project
表名
大小
是否要迁移增量
Project1
Table1
Desc查看表大小
2. 工具选择与方案确定
目前有四种方式可用于ODPS的数据迁移。
向分析型数据库ADS中导入数据
ADS是阿里云提供的分析性数据库，实现百亿数据毫秒级计算。
在使用ADS进行分析之前，需要先将数据导入到ADS中。
1 两种方法
ADS导入分为两种：批量导入和实时导入。这两种导入方式，是在建表的时候确定的。
1.1 批量导入
Hadoop迁移MaxCompute神器之DataX-On-Hadoop使用指南
DataX-On-Hadoop即使用hadoop的任务调度器，将DataX task(Reader->Channel->Writer)调度到hadoop执行集群上执行。这样用户的hadoop数据可以通过MR任务批量上传到ODPS、RDS等，不需要用户提前安装和部署DataX软件包，也不需要另外为DataX准备执行集群。
HBase数据导入工具总结
本文对HBase常用的数据导入工具进行介绍，并结合云HBase常见的导入场景，给出建议的迁移工具和参考资料。
HBase之间数据导入常用工具
HBase提供了几种数据迁移工具，其中基于API调用的有CopyTable,Export&Import。