DCA公布第七批大数据产品能力评测结果,阿里云MaxCompute超大规模集群引关注

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。

2018年11月30日,为期两天的数据中心联盟第七批大数据产品评测结果评审会圆满结束。本次评审委员会由中国信息通信研究院、清华大学、中国科学院、北京邮电大学、中移信息、国电投、中国银行、北京银行,以及所有参与评测产品企业专家组成。评审环节包括产品资料审核、测试报告审核、质询与答疑、集中评议。来自28家企业的46款/次产品通过了本次测试评审。

DCA大数据产品能力评测涵盖了分布式批处理平台、分布式分析型数据库、分布式事务数据库、时序数据库、用户行为分析产品、数据挖掘工具、数据集成工具、数据管理工具,以及商务智能(BI)分析工具。

阿里云大数据计算服务MaxCompute以万台规模成为本次DCA分布式批处理平台基础能力和性能评测中最为吸睛的厂商和产品。

阿里云大数据首款参评产品

大数据计算服务MaxCompute是阿里云参与DCA评测的首款大数据类产品。阿里云作为全球领先的云厂商,拥有极为丰富的产品种类,几乎为所有客户的业务场景提供了丰富的产品和完善的解决方案。作为阿里云主力计算平台的MaxCompute,除公共云外,还提供完整的私有化部署和混合云解决方案,为客户的各类场景下的大数据需求提供计算力。

image




拥有超大规模的集群以及存储计算力

2010年春,大数据计算引擎MaxCompute的前身SQL Engine第一版上线,运行在当时30台机器的飞天集群上。

2011年,阿里云飞天团队开始探索支撑集团内部数仓业务,在1500台机器上并行运行云梯2的生产作业,并取得了不输于Hadoop的性能和稳定性成绩。

2013年8月,单集群规模突破5000台业界上限,存储计算能力大幅提升,并实现MaxCompute跨集群数据复制和项目迁移,支持无限扩展。

2016年2月,MaxCompute对内服务第一个万台集群诞生。开启大数据的新时代。

今天,MaxCompute可以承载EB级的数据存储能力,百PB级的单日计算能力,在公共云上覆盖了国内外的十几个国家和地区,专有云上包含城市大脑在内部署超过100+套,整体已达到10万台规模,广泛覆盖金融、互联网、生物医疗、能源、交通,传媒,城市管理等行业。

最近几年,MaxCompute跟国际上很多标准化的组织进行了很多大数据方面的benchmark测试,包括最早做sort bench,TPCH,以及100%兼容TPC-DS标准测试集和去年做TPCX-Bigbench。2017年MaxCompute挑战TPCX-Bigbench 100TB 的30个query指标,成为全球第一个测试通过的计算引擎。2018年在同样的100TB规模上,性能指标提升了一倍。 另外在超小型10TB规模的指标上,MaxCompute与其他开源竞品进行了比对分析,性能超过开源竞品3倍。

具备高度的生态兼容和开放性

DCA大数据产品分布式批处理平台的能力评测中,是以Hadoop平台的基础能力测试和性能测试方法在阿里云飞天平台大数据计算服务MaxCompute上测试通过,不难看出MaxCompute作为自研大数据平台在生态兼容性和开放性方面已具备强大的优势。

MaxCompute与开源的融合,在协议和工具层面做的支持是在MaxCompute RestfulAPI服务之上通过SDK来实现的。MaxCompute组件也对开源进行了支持,包括SQL对于Hive做了非常多的兼容。另外可通过联合计算平台的形式将开源的系统迁移到MaxCompute平台上。目前专有云的版本已经支持Spark等的版本,借助于联合计算平台,Spark等可以天然地在外围作为开源API进行支持,整个的这套资源都是架构在飞天体系之上,希望通过融合的架构提供给用户以更加灵活的选择。用户可以将已有的数据和应用搬迁上来,用原来的Spark或者机器学习作业继续在上面运行。如果遇到问题,也可以同一份数据既落到MaxCompute也可以直接对于这份数据使用PAI引擎进行计算,可以产生更大的价值。

“DCA大数据产品评测”作为国内外极具权威的评测体系,通过建立和推行共性的评估体系和标准,解决了厂商和用户之间巨大的信息鸿沟,保证了厂商有序竞争,更方便了用户选型。MaxCompute正在为数以万计的的云上客户提供数字化转型的解决方案和计算力。

扫码加入“MaxCompute开发者社区”钉钉群,与更多大数据爱好者一起学习交流。
image

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1天前
电子好书发您分享《2024年阿里云产品五月刊》
Markdown 格式摘要如下: ```markdown 📚 阅读电子书:《2024年阿里云产品五月刊》🚀 了解阿里云最新动态!🚀 [查看](https://developer.aliyun.com/ebook/8349/read?spm=a2c6h.26392459.ebook-detail.5.623e3988zLjRuZ) ![阿里云五月刊封面](https://ucc.alicdn.com/pic/developer-ecology/cok6a6su42rzm_3502a3b8ac6c41b2ac7150896d3df269.png) ```
21 6
|
1天前
|
分布式计算 安全 大数据
大数据计算MaxCompute
【7月更文挑战第1天】大数据计算MaxCompute
8 0
|
1天前
|
弹性计算 运维 自然语言处理
阿里云操作系统智能助手OS Copilot评测
阿里云OS Copilot是专为Linux打造的智能助手,利用自然语言处理技术助力开发与运维。在线体验显示,它在系统监控与故障排除中表现出色,新手友好,提高工作效率。其自然语言问答功能尤受青睐,虽有潜力扩展至更多操作系统和功能,如与阿里云其他服务集成,将增强整体解决方案的智能化。作为运维工具,它已获得高评价并值得推荐。
|
1天前
|
数据采集 监控 算法
阿里云百炼模型训练评测
阿里云百炼提供一站式的模型开发服务,包括大模型训练、调用与部署。用户可查看剩余调用次数,点击开通服务以使用模型。计费基于调用量,涵盖推理、训练和部署。开通服务需同意协议,成功后将收到短信通知。评测显示,平台功能丰富,易用性强,能显著提升模型效果,且模型部署简便。建议优化数据预处理工具并增加实例教程。
|
2天前
|
自然语言处理
电子好书发您分享《阿里云产品2024年五月刊》
```markdown 《阿里云产品2024年五月刊》电子书分享:探索阿里云最新动态。[查看](https://developer.aliyun.com/ebook/8349/read?spm=a2c6h.26392459.ebook-detail.5.32203988v4X3Om) ``` 纯文本摘要: 《阿里云产品2024年五月刊》现已发布,详询阿里云最新产品和服务,请访问:https://developer.aliyun.com/ebook/8349/read?spm=a2c6h.26392459.ebook-detail.5.32203988v4X3Om
|
3天前
|
Cloud Native 关系型数据库 分布式数据库
《阿里云产品四月刊》—瑶池数据库云原生化和一体化产品能力升级
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
|
3天前
|
消息中间件 安全 API
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(1)
|
2天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之两个odps数据源绑定了同一个项目, 如何看另外一个数据源的同步数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
5 0
|
4天前
|
存储 人工智能 OLAP
深度|大模型时代下,基于湖仓一体的数据智能新范式
本次文根据峰会演讲内容整理:分享在大模型时代基于湖仓一体的数据产品演进,以及我们观察到的一些智能开发相关的新范式。
|
4天前
|
机器学习/深度学习 分布式计算 监控
在大数据模型训练中,关键步骤包括数据收集与清洗、特征工程、数据划分;准备分布式计算资源
【6月更文挑战第28天】在大数据模型训练中,关键步骤包括数据收集与清洗、特征工程、数据划分;准备分布式计算资源,选择并配置模型如深度学习架构;通过初始化、训练、验证进行模型优化;监控性能并管理资源;最后保存模型并部署为服务。过程中要兼顾数据隐私、安全及法规遵守,利用先进技术提升效率。
12 0

相关产品

  • 云原生大数据计算服务 MaxCompute