MaxCompute产品简介:与其它阿里云服务的集成使用-问答-阿里云开发者社区-阿里云

开发者社区> 行者武松> 正文

MaxCompute产品简介:与其它阿里云服务的集成使用

2017-10-23 15:06:12 2061 0


MaxCompute(原 ODPS)是一种大数据计算服务,能提供快速、完全托管的 PB 级数据仓库解决方案,已经与阿里云部分产品集成,可以快速实现很多业务场景。

MaxCompute 与大数据开发套件


大数据开发套件 是基于 MaxCompute 计算和存储,提供工作流可视化开发、调度运维托管的一站式海量数据离线加工分析平台。在数加中,大数据开发套件控制台即为 MaxCompute 控制台。
通过大数据开发套件,您既可直接编写并运行 MaxCompute SQL,又能可视化配置工作流并定时调度运行 MaxCompute SQL、MR 等任务。更多使用说明请参考 大数据开发套件帮助文档

您可以将大数据开发套件理解成 MaxCompute 的 web 客户端。


MaxCompute 与数据集成


MaxCompute 可以通过数据集成加载不同数据源数据,同样也可以通过数据集成把 MaxCompute 的数据导出到各种业务数据库。
数据集成已经集成到大数据开发套件作为 数据同步 任务进行配置、运行。您可直接在大数据开发套件上 配置 MaxCompute 数据源,再配置 读取 MaxCompute 表或者 写入 MaxCompute 表任务,整个过程只需在一个平台上进行操作。

MaxCompute 与机器学习


机器学习 是基于 MaxCompute 的一款机器学习算法平台。数加上创建好 MaxCompute 项目,开通好机器学习,即可通过机器学习 平台的算法组件对 MaxCompute 数据进行模型训练等操作。详情请参见 机器学习操作文档

MaxCompute 与 QuickBI


数据在 MaxCompute 进行加工处理后,将 Project 添加为 QuickBI 数据源,即可在 QuickBI 页面对 MaxCompute 表数据进行 报表制作,实现数据可视化分析。

MaxCompute 与 AnalyticDB


AnalyticDB 是海量数据实时高并发在线分析(Realtime OLAP)的云计算服务,与 MaxCompute 双剑合璧实现大数据驱动业务系统的场景。通过 MaxCompute 离线计算挖掘,产出高质量数据后,导入分析型数据库,供业务系统调用分析。
将 MaxCompute 数据导入到 AnalyticDB,有以下两种方式:

MaxCompute 与推荐引擎


推荐引擎 是在阿里云计算环境下建立的一套推荐服务框架,推荐服务通常由三部分组成:日志采集,推荐计算和产品对接,而推荐计算的离线计算输入和输出都是 MaxCompute(原 ODPS)表。
在推荐引擎控制台的资源管理页面,通过 添加云计算资源 的方式,将 MaxCompute 项目添加为推荐引擎的计算资源。

MaxCompute 与表格存储


表格存储(Table Store) 是构建在阿里云飞天分布式系统之上的分布式 NoSQL 数据存储服务,MaxCompute2.0 支持直接通过外部表方式访问表格存储中的表数据并进行处理,详情请参见 访问 OTS 非结构化数据

MaxCompute 与 OSS


对象存储 OSS 是海量、安全、低成本、高可靠的云存储服务,MaxCompute2.0 支持直接通过外部表方式访问表格存储中的表数据并进行处理,详情请参见 访问 OSS 非结构化数据

MaxCompute 与 OpenSearch


阿里云 开放搜索 OpenSearch 是一款阿里巴巴自主研发的大规模分布式搜索引擎平台。数据通过 MaxCompoute 进行计算处理后,可以在 OpenSearch 平台上通过 添加数据源 的方式将 MaxCompute 数据接入。

MaxCompute 与移动数据分析


移动数据分析(Mobile Analytics) 是阿里云推出的一款移动 App 数据统计分析产品,为开发者提供一站式数据化运营服务。当移动数据分析自带的基础的分析报表不能满足 APP 开发者的个性化需求时,可以将数据 一键同步至 Maxcompute,结合自己的业务需求来进一步加工、分析自己的数据。

MaxCompute 与日志服务


日志服务 能快速完成数据采集、消费、投递以及查询分析等功能。日志数据采集后,需要更多的个性化分析、挖掘,您可以在日志服务上 投递日志到 MaxCompute,通过 MaxCompute 对日志数据进行个性化、深层次的数据分析、挖掘。

MaxCompute 与RAM


RAM是阿里云为客户提供的 用户身份管理 与 资源访问控制 服务。MaxCompute与RAM的集成使用主要有两个场景:
场景一:通过数加·大数据开发套件使用MaxCompute时,子账户的身份管理
主帐号开通并创建项目后,若需要通过数加·大数据开发套件使用MaxCompute且多个账户协同开发,必须由主帐号到RAM服务中创建子账户,将RAM子账户添加为项目成员从而进行协同开发,具体的操作可以参考大数据开发套件文档 准备RAM子账号添加项目成员和角色
注意:此时RAM只起到用户身份管理功能,相关的权限管理不在RAM上控制。MaxCompute命令对RAM子账户的相关授权可以参考文档 添加 RAM 子账号
场景二:MaxCompute处理非结构化数据时,通过RAM对非结构化数据进行授权
目前MaxCompute支持直接处理非结构化数据(包含OSS和Table Store),前提条件之一就是需要在 RAM 中授予 MaxCompute 访问 OSS或Table Store 的权限,具体可以参考文档 访问 OSS 非结构化数据访问Table Store非结构化数据
取消 提交回答
全部回答(0)
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123756浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120279浏览量 回答数 10

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333915浏览量 回答数 8

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292336浏览量 回答数 110

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146809浏览量 回答数 22

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 149472浏览量 回答数 82

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471548浏览量 回答数 24

23

回答

【精品问答合集】Redis热门问答

李博 bluemind 2019-05-29 16:36:15 126326浏览量 回答数 23

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204026浏览量 回答数 2

13

回答

游戏云精彩帖汇总

nono20011908 2014-08-22 11:00:12 203661浏览量 回答数 13
+关注
行者武松
杀人者,打虎武松也。
14545
文章
2569
问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载