阿里云计算能力实现新突破 BigBench全球首次达到100TB

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介:

在10月11日开幕的“2017杭州·云栖大会”首日主论坛,阿里云总裁胡晓明重点介绍新一代计算平台MaxCompute+PAI。
image

在12日的主论坛中,阿里巴巴集团副总裁,搜索事业部&计算平台事业部负责人周靖人说,数据是机器智能创新的基础,拥有充沛的计算能力才能全面释放数据的价值。随后周靖人与英特尔公司数据中心事业部副总裁Rob Hays共同进行BigBench On MaxCompute[1] 2.0+PAI的重磅发布。本次发布突破了TPCx-BB[2] 公布的各项历史最佳成绩,体现出MaxCompute极强的大规模数据处理能力以及公共云相对传统模式的绝对优势。
image

目前TPC官网公布的测试最大规模为10TB,最佳性能1491.23BBQpm,最高性价比589 Price/BBQpm。而此次阿里云发布的BigBench on MaxCompute 2.0+PAI,在全球范围内首次将规模拓展至100TB,成为首个达到7000分的引擎,也成为首个基于公共云服务的Benchmark。

据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAI的SDK(继承自TPCx-Bigbench,并使之运行在阿里云的大数据环境上),供开发者验证试用。

BigBench on MaxCompute在规模上的巨大突破,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。

在性能上MaxCompute新一代处理引擎从Compiler、Optimizer、runtime等模块进行的持续深度优化。提供高性能计算的同时,阿里云机器学习PAI也为用户提供了强大的算法实验平台,包括传统的机器学习,也包括最新的深度学习以及增强学习等。同时为了满足阿里巴巴各种业务场景对于算法的需求,PAI 提供了大量的算法以及工具,并在性能以及数据规模上做了各种优化。

此外,MaxCompute与Intel开展深度合作,软硬结合深度优化,充分发挥Intel至强®可扩展处理器架构优势。英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化,并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。

那么,究竟BigBench on MaxCompute2.0+PAI可以为开发者释放哪些计算红利,以帮助开发者抓住更多市场机遇呢?
1、 突破规模限制。当BigBench作业的数据量达到10T以上时,市面上大多数产品会遇到各种瓶颈,无法进一步扩展。BigBench on MaxCompute可以将数据规模扩展到100T,轻松满足用户业务上不断增长的数据量需求。
2、 不断降低成本。采用传统的硬件厂商+软件的方式需要购买服务器。虽然服务器成本可以分摊到服务器生命周期,但是硬件成本是逐年下降的,购买硬件服务器相当于用更高的价格预购未来的计算资源,必然导致抬高成本。BigBench采用pirce/QPM的方式计算性价比。与传统的采购硬件的方式相比,MaxCompute支持预付费和按量付费,计价方式非常灵活,性价比具有显著优势。
3、 满足扩展性需求。互联网时代数据量需求随时可能会迎来爆炸式增长。传统的购买硬件方式周期太长,无法及时响应需求。BigBench on MaxCompute可按需扩充,实时响应企业数据扩展需求。
4、 免服务运维。传统的硬件机房需要有运维团队保证,一般用户无法保证高质量的运维。BigBench on MaxCompute采用公有云免运维方式,企业客户不需投入专门的运维人员进行维护。
BigBench on MaxCompute基于TPCx-BB进行修改,兼容所有TPCx-BB语义。作为工业级Benchmark,TPCx-BB涵盖了大数据处理的多种作业类型,包括SQL、MapReduce、Streamling、MachineLearning等。BigBench on MaxCompute对这些作业类型完成了覆盖,展示了MaxCompute在大数据处理的软件栈完整性,下表是BigBench on MaxCompute的软件栈列表:

image

BigBench on MaxCompute作为工业级benchmark,展示了MaxCompute在大数据软件栈的完整性,并且从规模、成本、扩展性等多个方面都有更好表现。
BigBench on MaxCompute的接入十分方便,企业客户只需满足如下条件就能轻松接入使用。

  1. 拥有阿里云账户;
  2. 需要BigBench on MaxCompute套件;
  3. 安装MaxCompute客户端。
    具体使用方式参照MaxCompute官方文档和BigBench on MaxCompute接入指南。

[1] BigBench on MaxCompute, 基于TPCx-BB衍生出来,兼容TPCx-BB所有语义。
[2] TPCx-BB, 事务性能管理委员会(TPC*)于2016年2月正式发布TPCx-BB(BigBench)。第一个基于端到端的大数据分析领域应用级测试基准。

相关实践学习
使用PAI+LLaMA Factory微调Qwen2-VL模型,搭建文旅领域知识问答机器人
使用PAI和LLaMA Factory框架,基于全参方法微调 Qwen2-VL模型,使其能够进行文旅领域知识问答,同时通过人工测试验证了微调的效果。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
Kubernetes Cloud Native 容灾
OpenKruise v1.6 版本解读:增强多域管理能力
OpenKruise 在 2024.3 发布了最新的 v1.6 版本(ChangeLog),本文对新版本的核心特性做整体介绍。
165198 7
|
人工智能 自然语言处理 人机交互
吴泳铭:拥抱人工智能驱动的产业智能革命
吴泳铭:拥抱人工智能驱动的产业智能革命
109396 505
|
NoSQL Java Redis
服务端如何防止订单重复支付!
如图是一个简化的下单流程,首先是提交订单,然后是支付。 支付的话,一般是走支付网关(支付中心),然后支付中心与第三方支付渠道(微信、支付宝、银联)交互。 支付成功以后,异步通知支付中心,支付中心更新自身支付订单状态,再通知业务应用,各业务再更新各自订单状态。
服务端如何防止订单重复支付!
|
8月前
|
人工智能 自然语言处理 数据挖掘
企业数字化转型的关键:如何利用OA系统实现自动化与智能决策
在数字化时代,传统办公系统已无法满足现代企业的需求。通过将RPA(机器人流程自动化)和AI(人工智能)技术与OA系统结合,企业能实现业务流程自动化、智能决策支持,大幅提升工作效率和资源配置优化,推动数字化转型。RPA可自动处理重复任务,如审批、数据同步等;AI则提供智能数据分析、预测和决策支持,两者协同作用,助力财务管理、人力资源管理、项目管理和客户服务等多个领域实现智能化升级。未来,智能化OA系统将进一步提升个性化服务、数据安全和协作能力,成为企业发展的关键驱动力。
|
5月前
|
数据采集 分布式计算 数据可视化
阿里Dataphin评测
作为一名后端开发工程师,我通过体验阿里巴巴的Dataphin对数据治理有了更深理解。Dataphin基于OneData方法论,提供一站式数据采集、建模、管理与分析能力,助力企业高效处理海量数据并支持业务决策。在实际操作中,我完成了项目创建、离线管道任务开发、SQL计算任务、数据补充及即席分析等功能体验,感受到其强大的数据处理能力和便捷性。不过,在大体量数据查询时性能稍显不足,且对非主流数据源支持有限。总体而言,Dataphin是一款功能全面的数据治理工具,适合企业数字化转型需求,未来潜力巨大。
152 1
|
6月前
|
存储 缓存 人工智能
阿里云Tair KVCache:打造以缓存为中心的大模型Token超级工厂
Tair KVCache 是阿里云推出的面向大语言模型推理场景的缓存加速服务,基于分布式内存池化和分级缓存体系,解决显存墙与带宽瓶颈问题。为万亿参数模型的高效推理提供技术保障,推动 AI 算力进化与规模化应用。
|
10月前
|
机器学习/深度学习 数据采集 数据可视化
TensorFlow,一款由谷歌开发的开源深度学习框架,详细讲解了使用 TensorFlow 构建深度学习模型的步骤
本文介绍了 TensorFlow,一款由谷歌开发的开源深度学习框架,详细讲解了使用 TensorFlow 构建深度学习模型的步骤,包括数据准备、模型定义、损失函数与优化器选择、模型训练与评估、模型保存与部署,并展示了构建全连接神经网络的具体示例。此外,还探讨了 TensorFlow 的高级特性,如自动微分、模型可视化和分布式训练,以及其在未来的发展前景。
841 5
|
9月前
|
人工智能 数据挖掘
AI长脑子了?LLM惊现人类脑叶结构并有数学代码分区,MIT大牛新作震惊学界!
麻省理工学院的一项新研究揭示了大型语言模型(LLM)内部概念空间的几何结构,与人脑类似。研究通过分析稀疏自编码器生成的高维向量,发现了概念空间在原子、大脑和星系三个层次上的独特结构,为理解LLM的内部机制提供了新视角。论文地址:https://arxiv.org/abs/2410.19750
206 12
|
物联网 应用服务中间件 Linux
CentOS7.9 Nginx+EMQX集群组建MQTTS平台
通过以上步骤,您已成功搭建了一个基于CentOS 7.9、Nginx和EMQX的MQTTS平台。这个平台既能保证数据传输的安全性,又能利用Nginx的负载均衡能力和EMQX的高性能、高并发处理能力,实现稳定高效的消息服务。在部署和配置过程中,务必注意证书、域名以及EMQX配置的正确性,确保系统安全和稳定运行。此外,定期更新软件和系统,以及监控系统性能,也是保证MQTTS平台长期稳定运行的重要环节。
309 3
|
存储 缓存 弹性计算
重新审视 CXL 时代下的分布式内存
从以太网到 RDMA 再到 CXL,标志着互连技术的重大突破。