MaxCompute用户指南:数据上传下载:数据上云场景-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

MaxCompute用户指南:数据上传下载:数据上云场景

2017-10-23 15:25:52 1926 0


利用 MaxCompute 平台的 数据上传/下载工具,可以广泛用于各种数据上云的应用场景,本文将介绍几种常见的经典场景。

Hadoop 数据迁移


Hadoop 数据迁移有两种可选的工具,分别是 Sqoop 和大数据开发套件。

  • Sqoop 执行时,会在原来的 Hadoop 集群上执行 MR 作业,可以分布式地将数据传输到 MaxCompute 上,效率会比较高,详情请参见 Sqoop 工具的介绍。

  • 使用大数据开发套件结合 DataX 进行 Hadoop 数据迁移的示例请参见 Hadoop 数据迁移新手教程


数据库数据同步


数据库数据同步到 MaxCompute 需要根据数据库的类型和同步策略来选择相应的工具。

  • 离线批量的数据库数据同步:可以选择大数据开发套件,支持的数据库种类比较丰富,有 MySQL、SQL Server、PostgreSQL 等,详情请参见 数据同步简介,您也可以参考 创建同步任务 进行实例操作。

  • Oracle 数据库数据实时同步时,可以选择 OGG 插件工具。

  • RDS 数据库数据实时同步时,可以选择 DTS 同步。


日志采集


日志采集时,您可以选用 Flume、Flunted、LogStash 等工具。具体场景示例请参见 Flume 收集网站日志数据到 MaxCompute海量日志数据分析与应用
取消 提交回答
全部回答(0)
相关问答

18

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 1040822浏览量 回答数 18

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 157709浏览量 回答数 145

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 337025浏览量 回答数 8

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 147250浏览量 回答数 22

2

回答

mySQL数据库报错You have an error in your SQL syntax

落地花开啦 2016-02-14 16:09:24 128943浏览量 回答数 2

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 259850浏览量 回答数 38

21

回答

请教一下数据量有100万条左右要什么配置?

易网网络 2013-03-27 15:18:02 192646浏览量 回答数 21

249

回答

阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本

云代维 2014-02-14 15:26:06 305648浏览量 回答数 249

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204399浏览量 回答数 2

13

回答

游戏云精彩帖汇总

nono20011908 2014-08-22 11:00:12 203974浏览量 回答数 13
+关注
行者武松
杀人者,打虎武松也。
17142
文章
2569
问答
问答排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载