一、什么是MaxCompute?
大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的EB级数据仓库解决方案。
随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行业无法承载的海量数据(百TB、PB、EB)级别。MaxCompute致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务。
由于单台服务器的处理能力有限,海量数据的分析需要分布式的计算模型。分布式的计算模型对数据分析人员要求较高且不易维护。数据分析人员不仅需要了解业务需求,同时还需要熟悉底层分布式计算模型。MaxCompute为您提供完善的数据导入方案以及多种经典的分布式计算模型,您可以不必关心分布式计算和维护细节,便可轻松完成大数据分析。
二、概述与产品特点
1、采用分布式架构,规模可以根据需要平行扩展
2、自动存储容错机制,保障数据高可靠性
3、所有计算在沙箱中运行,保障数据高安全性
4、以 RESTful API 的方式提供服务
5、支持高并发、高吞吐量的数据上传下载
6、提供离线计算、机器学习两类模型及计算服务
7、支持基于 SQL、MapReduce、Graph、MPI 等多种编程模型的数据处理方式
8、支持多租户,多个用户可以协同分析数据
9、支持基于 ACL 和 Policy 的用户权限管理,可以配置灵活的数据访问控制策略,防止数据越权访问
三、主要应用场景
日志分析、机器学习、数据仓库、数据挖掘、用户画像、数据化运营、商业智能等,例如:
四、MaxCompute 系统架构
五、MaxCompute 作业流程