2017云栖大会压轴大戏:大数据计算服务MaxCompute持续挑战极限,国家会议中心全球首次现场完成基于公共云的BigBench评测,令人期待!

简介: 2017年12月19 -20日,引发全球科技共振的云栖大会在国家会议中心举办2017年的压轴场—北京峰会。在本次大会上,阿里云主力计算平台MaxCompute将全球首次现场完成基于公共云的BigBench评测,并由阿里云总裁胡晓明在20日上午的主论坛宣布最终结果,令人期待。

不服跑个分,现场图来一张~

_

阿里云总裁胡晓明在20日上午的主论坛上宣布8200QPM的跑分结果,令人振奋。真正做到“中国计算,世界能力”。

_




-----------------------------------------------以上是本次跑分现场和结果----------------------------------------------------

2017年12月19 -20日,引发全球科技共振的云栖大会在国家会议中心举办2017年的压轴场—北京峰会。在本次大会上,阿里云主力计算平台MaxCompute将全球首次现场完成基于公共云的BigBench评测,并由阿里云总裁胡晓明在20日上午的主论坛宣布最终结果,令人期待。

什么是BigBench大数据测试基准?

BigBench是基于零售业场景构建的端到端大数据测试基准,支持主流分布式大数据处理引擎,模拟了整个线上与线下业务流程,有30个查询语句,涉及到描述性过程型查询、数据挖掘以及机器学习的算法。涵盖了结构化、半结构化和非结构化数据,相对sort单一的数据结构和计算方式,能够从客户实际场景角度更全面的评估大数据系统软硬件性能。

什么是MaxCompute

作为全新一代人工智能计算引擎的MaxCompute(原ODPS),是一项提供快速、完全托管的PB级数据仓库解决方案的大数据计算服务,可以高效并经济的分析处理海量数据。
MaxCompute2.0是阿里巴巴内部和阿里云的大数据旗舰平台,阿里巴巴近99%的数据存储以及95%的计算能力都在这个平台上产生。在今年的双11当天,MaxCompute当日数据处理超过320PB,相当于全球最大图书馆-美国国会图书馆藏书存储的信息量的1200倍。同时数百万级的调度作业,持续冲击极限,以75%的增量全面超越2016年双11。

1

MaxCompute2.0在保持了大规模计算存储、强数据安全、高性能低成本的前提下,支持多源异构数据的离线/实时采集,支持SQL、MR、UDF(Java/Python)Graph、交互式、内存计算、机器学习等多种计算模式。为众安保险华大基因ofo小黄车等众多客户提供计算服务,为企业极大的提升了运行效率,降低了财务和人力成本。


MaxCompute为什么选择在北京云栖大会现场完成BigBench评测?

作为计算平台,性能和效率是最核心的指标。作为阿里云的主力计算平台,MaxCompute一直积极参加各类计算评测,通过评测来推动阿里云计算性能的不断提升。

2015年我们参加了GraySort 评测。该比赛旨在评测超大规模数据量排序的速度,阿里云计算平台最终以377秒完成了100TB的数据排序,打破了Apache Spark23.4分钟的原有记录。

2016年我们参加了被称为“云计算效率之争”的CloudSort,以0.82美金/TB的成绩获得Indy(专用目的排序)和Daytona(通用目的排序) 两个子项的世界冠军,打破了AWS在2014年保持的纪录4.51美金/TB。阿里云计算平台在“算的快”的前提下,进一步创造了性价比的新世界记录。

2017年MaxCompute希望能从更接近实际生产场景和客户场景的角度,来呈现阿里云计算平台的计算速度和性价比优势。进行BigBench评测是因为它是基于零售业场景构建的端到端大数据测试基准,支持主流分布式大数据处理引擎,模拟了整个线上与线下业务流程,有30个查询语句,涉及到描述性过程型查询、数据挖掘以及机器学习的算法。涵盖了结构化、半结构化和非结构化数据,相对sort单一的数据结构和计算方式,能够从客户实际场景角度更全面的评估大数据系统软硬件性能。在把TPC的benchmark适配到MaxCompute后,我们将数据规模提升至100TB来完成本次直播评测, 我们对评测结果和计算能力有着绝对的信心,希望在云栖大会北京峰会主论坛和展厅现场与各位开发者和大数据爱好者共同见证。

2017年12月19日-20日,国际会议中心南序厅(近国家体育场北路)“大数据计算服务MaxCompute”展台,不见不散。

加入MaxCompute钉群咨询

2

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
9月前
|
存储 数据采集 搜索推荐
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
本篇文章探讨了 Java 大数据在智慧文旅景区中的创新应用,重点分析了如何通过数据采集、情感分析与可视化等技术,挖掘游客情感需求,进而优化景区服务。文章结合实际案例,展示了 Java 在数据处理与智能推荐等方面的强大能力,为文旅行业的智慧化升级提供了可行路径。
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
|
9月前
|
存储 SQL 分布式计算
大数据之路:阿里巴巴大数据实践——元数据与计算管理
本内容系统讲解了大数据体系中的元数据管理与计算优化。元数据部分涵盖技术、业务与管理元数据的分类及平台工具,并介绍血缘捕获、智能推荐与冷热分级等技术创新。元数据应用于数据标签、门户管理与建模分析。计算管理方面,深入探讨资源调度失衡、数据倾斜、小文件及长尾任务等问题,提出HBO与CBO优化策略及任务治理方案,全面提升资源利用率与任务执行效率。
666 0
|
10月前
|
分布式计算 搜索推荐 算法
Java 大视界 -- Java 大数据在智慧养老服务需求分析与个性化服务匹配中的应用(186)
本篇文章探讨了Java大数据技术在智慧养老服务需求分析与个性化服务匹配中的应用。通过整合老年人健康数据与行为数据,结合机器学习与推荐算法,实现对老年人健康风险的预测及个性化服务推荐,提升养老服务的智能化与精准化水平,助力智慧养老高质量发展。
|
10月前
|
SQL 缓存 监控
大数据之路:阿里巴巴大数据实践——实时技术与数据服务
实时技术通过流式架构实现数据的实时采集、处理与存储,支持高并发、低延迟的数据服务。架构涵盖数据分层、多流关联,结合Flink、Kafka等技术实现高效流计算。数据服务提供统一接口,支持SQL查询、数据推送与定时任务,保障数据实时性与可靠性。
1199 0
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
671 8
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
619 1
|
SQL 分布式计算 DataWorks
MaxCompute MaxFrame评测 | 分布式Python计算服务MaxFrame(完整操作版)
在当今数字化迅猛发展的时代,数据信息的保存与分析对企业决策至关重要。MaxCompute MaxFrame是阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口并自动进行分布式计算。通过MaxCompute的海量计算资源,企业可以进行大规模数据处理、可视化数据分析及科学计算等任务。本文将详细介绍如何开通MaxCompute和DataWorks服务,并使用MaxFrame进行数据操作。包括创建项目、绑定数据源、编写PyODPS 3节点代码以及执行SQL查询等内容。最后,针对使用过程中遇到的问题提出反馈建议,帮助用户更好地理解和使用MaxFrame。
|
数据采集 人工智能 分布式计算
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
阿里云推出的MaxFrame是链接大数据与AI的分布式Python计算框架,提供类似Pandas的操作接口和分布式处理能力。本文从部署、功能验证到实际场景全面评测MaxFrame,涵盖分布式Pandas操作、大语言模型数据预处理及企业级应用。结果显示,MaxFrame在处理大规模数据时性能显著提升,代码兼容性强,适合从数据清洗到训练数据生成的全链路场景...
847 5
MaxFrame:链接大数据与AI的高效分布式计算框架深度评测与实践!
|
机器学习/深度学习 分布式计算 数据挖掘
MaxFrame 性能评测:阿里云MaxCompute上的分布式Pandas引擎
MaxFrame是一款兼容Pandas API的分布式数据分析工具,基于MaxCompute平台,极大提升了大规模数据处理效率。其核心优势在于结合了Pandas的易用性和MaxCompute的分布式计算能力,无需学习新编程模型即可处理海量数据。性能测试显示,在涉及`groupby`和`merge`等复杂操作时,MaxFrame相比本地Pandas有显著性能提升,最高可达9倍。适用于大规模数据分析、数据清洗、预处理及机器学习特征工程等场景。尽管存在网络延迟和资源消耗等问题,MaxFrame仍是处理TB级甚至PB级数据的理想选择。
370 6
|
分布式计算 DataWorks 搜索推荐
DataWorks产品评测:大数据开发治理平台的最佳实践与体验
DataWorks是阿里云推出的一款大数据开发治理平台,集成了多种大数据引擎,支持数据集成、开发、分析和任务调度。本文通过用户画像分析的最佳实践,评测了DataWorks的功能和使用体验,并提出了优化建议。通过实践,DataWorks在数据整合、清洗及可视化方面表现出色,适合企业高效管理和分析数据。
586 0

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute