阿里云计算能力实现新突破 BigBench全球首次达到100TB

在线体验各类最新模型,更有模型 免费Token 额度领取!
立即体验
简介:

在10月11日开幕的“2017杭州·云栖大会”首日主论坛,阿里云总裁胡晓明重点介绍新一代计算平台MaxCompute+PAI。
image

在12日的主论坛中,阿里巴巴集团副总裁,搜索事业部&计算平台事业部负责人周靖人说,数据是机器智能创新的基础,拥有充沛的计算能力才能全面释放数据的价值。随后周靖人与英特尔公司数据中心事业部副总裁Rob Hays共同进行BigBench On MaxCompute[1] 2.0+PAI的重磅发布。本次发布突破了TPCx-BB[2] 公布的各项历史最佳成绩,体现出MaxCompute极强的大规模数据处理能力以及公共云相对传统模式的绝对优势。
image

目前TPC官网公布的测试最大规模为10TB,最佳性能1491.23BBQpm,最高性价比589 Price/BBQpm。而此次阿里云发布的BigBench on MaxCompute 2.0+PAI,在全球范围内首次将规模拓展至100TB,成为首个达到7000分的引擎,也成为首个基于公共云服务的Benchmark。

据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAI的SDK(继承自TPCx-Bigbench,并使之运行在阿里云的大数据环境上),供开发者验证试用。

BigBench on MaxCompute在规模上的巨大突破,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。

在性能上MaxCompute新一代处理引擎从Compiler、Optimizer、runtime等模块进行的持续深度优化。提供高性能计算的同时,阿里云机器学习PAI也为用户提供了强大的算法实验平台,包括传统的机器学习,也包括最新的深度学习以及增强学习等。同时为了满足阿里巴巴各种业务场景对于算法的需求,PAI 提供了大量的算法以及工具,并在性能以及数据规模上做了各种优化。

此外,MaxCompute与Intel开展深度合作,软硬结合深度优化,充分发挥Intel至强®可扩展处理器架构优势。英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化,并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。

那么,究竟BigBench on MaxCompute2.0+PAI可以为开发者释放哪些计算红利,以帮助开发者抓住更多市场机遇呢?
1、 突破规模限制。当BigBench作业的数据量达到10T以上时,市面上大多数产品会遇到各种瓶颈,无法进一步扩展。BigBench on MaxCompute可以将数据规模扩展到100T,轻松满足用户业务上不断增长的数据量需求。
2、 不断降低成本。采用传统的硬件厂商+软件的方式需要购买服务器。虽然服务器成本可以分摊到服务器生命周期,但是硬件成本是逐年下降的,购买硬件服务器相当于用更高的价格预购未来的计算资源,必然导致抬高成本。BigBench采用pirce/QPM的方式计算性价比。与传统的采购硬件的方式相比,MaxCompute支持预付费和按量付费,计价方式非常灵活,性价比具有显著优势。
3、 满足扩展性需求。互联网时代数据量需求随时可能会迎来爆炸式增长。传统的购买硬件方式周期太长,无法及时响应需求。BigBench on MaxCompute可按需扩充,实时响应企业数据扩展需求。
4、 免服务运维。传统的硬件机房需要有运维团队保证,一般用户无法保证高质量的运维。BigBench on MaxCompute采用公有云免运维方式,企业客户不需投入专门的运维人员进行维护。
BigBench on MaxCompute基于TPCx-BB进行修改,兼容所有TPCx-BB语义。作为工业级Benchmark,TPCx-BB涵盖了大数据处理的多种作业类型,包括SQL、MapReduce、Streamling、MachineLearning等。BigBench on MaxCompute对这些作业类型完成了覆盖,展示了MaxCompute在大数据处理的软件栈完整性,下表是BigBench on MaxCompute的软件栈列表:

image

BigBench on MaxCompute作为工业级benchmark,展示了MaxCompute在大数据软件栈的完整性,并且从规模、成本、扩展性等多个方面都有更好表现。
BigBench on MaxCompute的接入十分方便,企业客户只需满足如下条件就能轻松接入使用。

  1. 拥有阿里云账户;
  2. 需要BigBench on MaxCompute套件;
  3. 安装MaxCompute客户端。
    具体使用方式参照MaxCompute官方文档和BigBench on MaxCompute接入指南。

[1] BigBench on MaxCompute, 基于TPCx-BB衍生出来,兼容TPCx-BB所有语义。
[2] TPCx-BB, 事务性能管理委员会(TPC*)于2016年2月正式发布TPCx-BB(BigBench)。第一个基于端到端的大数据分析领域应用级测试基准。

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
28天前
|
编解码 自然语言处理 文字识别
HiDream-O1开源:8B参数像素级统一Transformer
HiDream-O1-Image是HiDream.ai开源的8B参数像素级统一生成模型,摒弃VAE与分离文本编码器,首创UiT架构实现文本、图像、任务条件在共享token空间端到端联合建模。支持2048×2048高清生成、多镜头/多语言渲染、指令编辑与主体个性化,在GenEval等基准刷新SOTA。含50步未蒸馏版与28步Dev加速版,并集成推理驱动提示代理。
544 0
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
Claude Cowork:当AI走出聊天框,成为你的"数字同事"
Anthropic 于 2026 年 1 月发布 Claude Cowork,定位为可执行任务的“数字同事”。该产品支持直接操作本地文件,并通过沙箱隔离与子代理协作机制,在文件管理等实际场景中展现出明显优势。
1977 2
Claude Cowork:当AI走出聊天框,成为你的"数字同事"
|
人工智能 IDE API
白板秒变IDE,草图直接生成可运行代码!Pad.ws:白板+代码编辑器深度结合,创意到实现无缝衔接
Pad.ws是一款创新的在线开发环境,将交互式白板与完整IDE工具深度结合,支持多人实时协作和多种编程语言,无需安装即可通过浏览器访问。
1026 1
白板秒变IDE,草图直接生成可运行代码!Pad.ws:白板+代码编辑器深度结合,创意到实现无缝衔接
|
7月前
|
负载均衡 应用服务中间件 Nacos
Nacos配置中心
本章介绍Nacos作为配置中心的实现,涵盖配置管理、热更新、共享配置及优先级规则,并演示Nacos集群搭建与高可用部署,解决微服务架构下配置统一管理与动态更新难题。
|
7月前
|
安全 Java API
添加 Swagger2 的 Maven 依赖
本文介绍如何在Spring Boot项目中集成Swagger2(2.2.2版本),通过添加Maven依赖、配置SwaggerConfig类,实现在线API文档生成功能,并提供访问路径与生产环境安全禁用建议。
|
10月前
|
自然语言处理 搜索推荐 安全
阿里云建站产品怎么选?云·速成美站与云·企业官网对比与选择参考
阿里云为客户提供云·速成美站、云·企业官网及个性化定制开发建站等多种建站模式,其中云·速成美站与云·企业官网是两款热门建站产品,它们均基于阿里云基础设施构建,但在目标用户、服务模式、功能深度及适用场景上存在明显区别。本文将从产品定位、核心功能、服务模式、价格体系及技术架构等方面展开对比,以供选择参考。
|
Java Shell API
实战教程:如何将自己的Python包发布到PyPI上
实战教程:如何将自己的Python包发布到PyPI上
4486 0
实战教程:如何将自己的Python包发布到PyPI上
|
弹性计算 安全 数据库
活动实践 | 通过弹性公网 IP 确保服务迁移时公网 IP 不变
该方案通过弹性公网IP(EIP)实现公网IP与不同资源的灵活关联和解绑,支持业务水平扩容和资源迁移。具体步骤包括:创建ECS实例并分配固定公网IP,安装Web服务,创建自定义镜像以快速部署新实例,将原实例的固定公网IP转为EIP,并将其解绑后绑定到新实例上,确保服务迁移后对外IP不变。最后,清理资源以避免不必要的费用。
|
机器学习/深度学习 并行计算 PyTorch
ONNX 优化技巧:加速模型推理
【8月更文第27天】ONNX (Open Neural Network Exchange) 是一个开放格式,用于表示机器学习模型,使模型能够在多种框架之间进行转换。ONNX Runtime (ORT) 是一个高效的推理引擎,旨在加速模型的部署。本文将介绍如何使用 ONNX Runtime 和相关工具来优化模型的推理速度和资源消耗。
8129 4
|
开发框架 前端开发 JavaScript
C# 结合JavaScript实现手写板签名并上传到服务器
C# 结合JavaScript实现手写板签名并上传到服务器