DataX使用指南——ODPS to ODPS
1. DataX是什么
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
ODPS数据迁移指南
1. 背景调研
1.1 ODPS源与目的集群
调研项
内容
ODPS源集群版本
ODPS目的集群版本
ODPS源与目的是否在一个集群/可使用相同账号
ODPS源集群AccessKeyId
ODPS源集群AccessKeySecret
ODPS目的集群AccessKeyId
ODPS目的集群AccessKeyIdSecret
1.2 预迁移数据统计
所属Project
表名
大小
是否要迁移增量
Project1
Table1
Desc查看表大小
2. 工具选择与方案确定
目前有四种方式可用于ODPS的数据迁移。
向分析型数据库ADS中导入数据
ADS是阿里云提供的分析性数据库，实现百亿数据毫秒级计算。
在使用ADS进行分析之前，需要先将数据导入到ADS中。
1 两种方法
ADS导入分为两种：批量导入和实时导入。这两种导入方式，是在建表的时候确定的。
1.1 批量导入
解密 阿里巴巴大数据女程序员瑞清代码诗！
2018年已过，我们迎来了新的一年，在机遇与挑战同在的环境下，我们更应勤于学习。为了方便大家学习，小编为大家盘点了2018年阿里巴巴大数据—玩家社区云栖号最火的干货文章分享给大家，让我们在新的一年里共同学习和成长！
阿里巴巴大数据 —玩家社区
云栖号简介：
阿里大数据博文，问答，社群，实践，有朋自远方来，不亦说乎……
2018年10篇最受欢迎博文：
第一篇：
《MaxCompute/DataWorks权限问题排查建议》
MaxCompute与DataWorks为两个产品，在权限体系上既有交集又要一定的差别。
阿里巴巴下一代数据集成技术
数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在企业数据集成领域，已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统，这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。
双管齐下，MaxCompute数据上云与生态
在票选最美云上大数据暨大数据技术峰会上，来自飞天一部的朋春从MaxCompute提供的离线、实时数据通道入手，延伸到DTS、Logstash、DataX等官方/开源软件，向大家介绍如何从数据库、本地文件等多种存储向MaxCompute导入数据，分享最后还介绍了如何在Python和R语言中使用MaxCompute。
