MaxCompute用户指南:数据上传下载:数据上云场景-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

MaxCompute用户指南:数据上传下载:数据上云场景

行者武松 2017-10-23 15:25:52 1628


利用 MaxCompute 平台的 数据上传/下载工具,可以广泛用于各种数据上云的应用场景,本文将介绍几种常见的经典场景。

Hadoop 数据迁移


Hadoop 数据迁移有两种可选的工具,分别是 Sqoop 和大数据开发套件。

  • Sqoop 执行时,会在原来的 Hadoop 集群上执行 MR 作业,可以分布式地将数据传输到 MaxCompute 上,效率会比较高,详情请参见 Sqoop 工具的介绍。

  • 使用大数据开发套件结合 DataX 进行 Hadoop 数据迁移的示例请参见 Hadoop 数据迁移新手教程


数据库数据同步


数据库数据同步到 MaxCompute 需要根据数据库的类型和同步策略来选择相应的工具。

  • 离线批量的数据库数据同步:可以选择大数据开发套件,支持的数据库种类比较丰富,有 MySQL、SQL Server、PostgreSQL 等,详情请参见 数据同步简介,您也可以参考 创建同步任务 进行实例操作。

  • Oracle 数据库数据实时同步时,可以选择 OGG 插件工具。

  • RDS 数据库数据实时同步时,可以选择 DTS 同步。


日志采集


日志采集时,您可以选用 Flume、Flunted、LogStash 等工具。具体场景示例请参见 Flume 收集网站日志数据到 MaxCompute海量日志数据分析与应用
分布式计算 Oracle Hadoop 大数据 关系型数据库 数据挖掘 数据库 MaxCompute DataX RDS
分享到
取消 提交回答
全部回答(0)
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程