DataX使用指南——ODPS to ODPS
1. DataX是什么
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
ODPS数据迁移指南
1. 背景调研
1.1 ODPS源与目的集群
调研项
内容
ODPS源集群版本
ODPS目的集群版本
ODPS源与目的是否在一个集群/可使用相同账号
ODPS源集群AccessKeyId
ODPS源集群AccessKeySecret
ODPS目的集群AccessKeyId
ODPS目的集群AccessKeyIdSecret
1.2 预迁移数据统计
所属Project
表名
大小
是否要迁移增量
Project1
Table1
Desc查看表大小
2. 工具选择与方案确定
目前有四种方式可用于ODPS的数据迁移。
数据同步-从MySQL到Tablestore
数据同步-从MySQL到Tablestore
DataX是阿里集团广泛使用的离线数据导出工具， 本文将详细介绍如何从MySQL导出全量数据到Tablestore（OTS）中。
一、导出步骤
DataX工具目前已经在github上开源，可以从github上拉到源代码进行本地编译，也可以直接下载编译好的压缩包进行解压直接使用，这里选择本地编译方式。
SAP HANA 平台介绍
SAP HANA以大规模并行内存计算范式为基础，极大地提高了信息处理速度。SAP HANA架构利用单一列式内存数据存储数据中的的单份数据，执行联机事务处理(OLTP)和联机分析处理 (OLAP)。简言之，SAP HANA能够消除数据冗余，磁盘延迟，以及应 用与分析工昊之间的数据移动。
DataX插件编写指南
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、HDFS、Hive、OceanBase、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。DataX采用了框架 + 插件 的模式，目前已开源，代码托管在github。
传统应用层逻辑分库DB迁移阿里云DRDS+RDS分布式数据库
随着互联网快速发展，我们的结构化关系数据库在高并发、海量数据的情况下面临单机扩展性问题，首先是单机数据库容量瓶颈，单机数据库在业务高速增长的情况下依赖硬件升级也会到达天花板，并且使用成本变得非常高，而且扩展性的复杂性也是比较高，传统数据库扩容往往意味着服务中断，很难做到业务无感知或者少感知。
