DCA公布第七批大数据产品能力评测结果,阿里云MaxCompute超大规模集群引关注

简介: MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。

2018年11月30日,为期两天的数据中心联盟第七批大数据产品评测结果评审会圆满结束。本次评审委员会由中国信息通信研究院、清华大学、中国科学院、北京邮电大学、中移信息、国电投、中国银行、北京银行,以及所有参与评测产品企业专家组成。评审环节包括产品资料审核、测试报告审核、质询与答疑、集中评议。来自28家企业的46款/次产品通过了本次测试评审。

DCA大数据产品能力评测涵盖了分布式批处理平台、分布式分析型数据库、分布式事务数据库、时序数据库、用户行为分析产品、数据挖掘工具、数据集成工具、数据管理工具,以及商务智能(BI)分析工具。

阿里云大数据计算服务MaxCompute以万台规模成为本次DCA分布式批处理平台基础能力和性能评测中最为吸睛的厂商和产品。

阿里云大数据首款参评产品

大数据计算服务MaxCompute是阿里云参与DCA评测的首款大数据类产品。阿里云作为全球领先的云厂商,拥有极为丰富的产品种类,几乎为所有客户的业务场景提供了丰富的产品和完善的解决方案。作为阿里云主力计算平台的MaxCompute,除公共云外,还提供完整的私有化部署和混合云解决方案,为客户的各类场景下的大数据需求提供计算力。

image




拥有超大规模的集群以及存储计算力

2010年春,大数据计算引擎MaxCompute的前身SQL Engine第一版上线,运行在当时30台机器的飞天集群上。

2011年,阿里云飞天团队开始探索支撑集团内部数仓业务,在1500台机器上并行运行云梯2的生产作业,并取得了不输于Hadoop的性能和稳定性成绩。

2013年8月,单集群规模突破5000台业界上限,存储计算能力大幅提升,并实现MaxCompute跨集群数据复制和项目迁移,支持无限扩展。

2016年2月,MaxCompute对内服务第一个万台集群诞生。开启大数据的新时代。

今天,MaxCompute可以承载EB级的数据存储能力,百PB级的单日计算能力,在公共云上覆盖了国内外的十几个国家和地区,专有云上包含城市大脑在内部署超过100+套,整体已达到10万台规模,广泛覆盖金融、互联网、生物医疗、能源、交通,传媒,城市管理等行业。

最近几年,MaxCompute跟国际上很多标准化的组织进行了很多大数据方面的benchmark测试,包括最早做sort bench,TPCH,以及100%兼容TPC-DS标准测试集和去年做TPCX-Bigbench。2017年MaxCompute挑战TPCX-Bigbench 100TB 的30个query指标,成为全球第一个测试通过的计算引擎。2018年在同样的100TB规模上,性能指标提升了一倍。 另外在超小型10TB规模的指标上,MaxCompute与其他开源竞品进行了比对分析,性能超过开源竞品3倍。

具备高度的生态兼容和开放性

DCA大数据产品分布式批处理平台的能力评测中,是以Hadoop平台的基础能力测试和性能测试方法在阿里云飞天平台大数据计算服务MaxCompute上测试通过,不难看出MaxCompute作为自研大数据平台在生态兼容性和开放性方面已具备强大的优势。

MaxCompute与开源的融合,在协议和工具层面做的支持是在MaxCompute RestfulAPI服务之上通过SDK来实现的。MaxCompute组件也对开源进行了支持,包括SQL对于Hive做了非常多的兼容。另外可通过联合计算平台的形式将开源的系统迁移到MaxCompute平台上。目前专有云的版本已经支持Spark等的版本,借助于联合计算平台,Spark等可以天然地在外围作为开源API进行支持,整个的这套资源都是架构在飞天体系之上,希望通过融合的架构提供给用户以更加灵活的选择。用户可以将已有的数据和应用搬迁上来,用原来的Spark或者机器学习作业继续在上面运行。如果遇到问题,也可以同一份数据既落到MaxCompute也可以直接对于这份数据使用PAI引擎进行计算,可以产生更大的价值。

“DCA大数据产品评测”作为国内外极具权威的评测体系,通过建立和推行共性的评估体系和标准,解决了厂商和用户之间巨大的信息鸿沟,保证了厂商有序竞争,更方便了用户选型。MaxCompute正在为数以万计的的云上客户提供数字化转型的解决方案和计算力。

扫码加入“MaxCompute开发者社区”钉钉群,与更多大数据爱好者一起学习交流。
image

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
12月前
|
SQL 人工智能 分布式计算
ODPS十五周年实录|构建 AI 时代的大数据基础设施
本文根据 ODPS 十五周年·年度升级发布实录整理而成,演讲信息如下: 张治国:阿里云智能集团技术研究员、阿里云智能计算平台事业部 ODPS-MaxCompute 负责人 活动:【数据进化·AI 启航】ODPS 年度升级发布
538 9
|
12月前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
1879 36
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
12月前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
807 2
|
12月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
969 1
|
12月前
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
702 14
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
464 4
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
1126 0
|
12月前
|
传感器 人工智能 监控
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
数据下田,庄稼不“瞎种”——聊聊大数据如何帮农业提效
353 14
|
12月前
|
机器学习/深度学习 传感器 监控
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
吃得安心靠数据?聊聊用大数据盯紧咱们的餐桌安全
362 1

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute