阿里云开源离线同步工具DataX3.0介绍
阿里云开源离线同步工具DataX3.0介绍
一. DataX3.0概览
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
分布式关系型数据库服务DRDS产品信息汇总
在客户现场遇到很多客户的开发商、运维人员刚刚接触DRDS，希望获取到DRDS的相关信息，因此整理汇总了关于DRDS的使用、迁移、核心原理等信息，以便这些刚刚接触的DRDS的同学，能对DRDS有个全方位的认识，所以整理了这篇文章，希望对大家有所帮助。
ODPS数据迁移指南
1. 背景调研
1.1 ODPS源与目的集群
调研项
内容
ODPS源集群版本
ODPS目的集群版本
ODPS源与目的是否在一个集群/可使用相同账号
ODPS源集群AccessKeyId
ODPS源集群AccessKeySecret
ODPS目的集群AccessKeyId
ODPS目的集群AccessKeyIdSecret
1.2 预迁移数据统计
所属Project
表名
大小
是否要迁移增量
Project1
Table1
Desc查看表大小
2. 工具选择与方案确定
目前有四种方式可用于ODPS的数据迁移。
SAP HANA 平台介绍
SAP HANA以大规模并行内存计算范式为基础，极大地提高了信息处理速度。SAP HANA架构利用单一列式内存数据存储数据中的的单份数据，执行联机事务处理(OLTP)和联机分析处理 (OLAP)。简言之，SAP HANA能够消除数据冗余，磁盘延迟，以及应 用与分析工昊之间的数据移动。
传统应用层逻辑分库DB迁移阿里云DRDS+RDS分布式数据库
随着互联网快速发展，我们的结构化关系数据库在高并发、海量数据的情况下面临单机扩展性问题，首先是单机数据库容量瓶颈，单机数据库在业务高速增长的情况下依赖硬件升级也会到达天花板，并且使用成本变得非常高，而且扩展性的复杂性也是比较高，传统数据库扩容往往意味着服务中断，很难做到业务无感知或者少感知。
DataWorks独享资源组开通、使用教程
模式介绍：DataWorks提供了独享资源模式，支持购买独享的机器资源来分配给工作空间运行任务。此模式下机器物理资源（网络/磁盘/CPU/内存等）完全独享，不单可以做到用户间资源使用的隔离，也可以做到不同工作空间任务使用资源的独立。
阿里巴巴下一代数据集成技术
数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。