阿里云计算能力实现新突破 BigBench全球首次达到100TB

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介:

在10月11日开幕的“2017杭州·云栖大会”首日主论坛,阿里云总裁胡晓明重点介绍新一代计算平台MaxCompute+PAI。
image

在12日的主论坛中,阿里巴巴集团副总裁,搜索事业部&计算平台事业部负责人周靖人说,数据是机器智能创新的基础,拥有充沛的计算能力才能全面释放数据的价值。随后周靖人与英特尔公司数据中心事业部副总裁Rob Hays共同进行BigBench On MaxCompute[1] 2.0+PAI的重磅发布。本次发布突破了TPCx-BB[2] 公布的各项历史最佳成绩,体现出MaxCompute极强的大规模数据处理能力以及公共云相对传统模式的绝对优势。
image

目前TPC官网公布的测试最大规模为10TB,最佳性能1491.23BBQpm,最高性价比589 Price/BBQpm。而此次阿里云发布的BigBench on MaxCompute 2.0+PAI,在全球范围内首次将规模拓展至100TB,成为首个达到7000分的引擎,也成为首个基于公共云服务的Benchmark。

据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAI的SDK(继承自TPCx-Bigbench,并使之运行在阿里云的大数据环境上),供开发者验证试用。

BigBench on MaxCompute在规模上的巨大突破,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。

在性能上MaxCompute新一代处理引擎从Compiler、Optimizer、runtime等模块进行的持续深度优化。提供高性能计算的同时,阿里云机器学习PAI也为用户提供了强大的算法实验平台,包括传统的机器学习,也包括最新的深度学习以及增强学习等。同时为了满足阿里巴巴各种业务场景对于算法的需求,PAI 提供了大量的算法以及工具,并在性能以及数据规模上做了各种优化。

此外,MaxCompute与Intel开展深度合作,软硬结合深度优化,充分发挥Intel至强®可扩展处理器架构优势。英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化,并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。

那么,究竟BigBench on MaxCompute2.0+PAI可以为开发者释放哪些计算红利,以帮助开发者抓住更多市场机遇呢?
1、 突破规模限制。当BigBench作业的数据量达到10T以上时,市面上大多数产品会遇到各种瓶颈,无法进一步扩展。BigBench on MaxCompute可以将数据规模扩展到100T,轻松满足用户业务上不断增长的数据量需求。
2、 不断降低成本。采用传统的硬件厂商+软件的方式需要购买服务器。虽然服务器成本可以分摊到服务器生命周期,但是硬件成本是逐年下降的,购买硬件服务器相当于用更高的价格预购未来的计算资源,必然导致抬高成本。BigBench采用pirce/QPM的方式计算性价比。与传统的采购硬件的方式相比,MaxCompute支持预付费和按量付费,计价方式非常灵活,性价比具有显著优势。
3、 满足扩展性需求。互联网时代数据量需求随时可能会迎来爆炸式增长。传统的购买硬件方式周期太长,无法及时响应需求。BigBench on MaxCompute可按需扩充,实时响应企业数据扩展需求。
4、 免服务运维。传统的硬件机房需要有运维团队保证,一般用户无法保证高质量的运维。BigBench on MaxCompute采用公有云免运维方式,企业客户不需投入专门的运维人员进行维护。
BigBench on MaxCompute基于TPCx-BB进行修改,兼容所有TPCx-BB语义。作为工业级Benchmark,TPCx-BB涵盖了大数据处理的多种作业类型,包括SQL、MapReduce、Streamling、MachineLearning等。BigBench on MaxCompute对这些作业类型完成了覆盖,展示了MaxCompute在大数据处理的软件栈完整性,下表是BigBench on MaxCompute的软件栈列表:

image

BigBench on MaxCompute作为工业级benchmark,展示了MaxCompute在大数据软件栈的完整性,并且从规模、成本、扩展性等多个方面都有更好表现。
BigBench on MaxCompute的接入十分方便,企业客户只需满足如下条件就能轻松接入使用。

  1. 拥有阿里云账户;
  2. 需要BigBench on MaxCompute套件;
  3. 安装MaxCompute客户端。
    具体使用方式参照MaxCompute官方文档和BigBench on MaxCompute接入指南。

[1] BigBench on MaxCompute, 基于TPCx-BB衍生出来,兼容TPCx-BB所有语义。
[2] TPCx-BB, 事务性能管理委员会(TPC*)于2016年2月正式发布TPCx-BB(BigBench)。第一个基于端到端的大数据分析领域应用级测试基准。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
8月前
|
弹性计算 NoSQL 关系型数据库
2024年阿里云又开始大规模降价,意味着什么?
2024年阿里云又开始大规模降价,意味着什么?百款产品直降,平均降幅20%,阿里云希望通过此次大规模降价,让更多企业和开发者用上先进的公共云服务,加速云计算在中国各行各业的普及和发展。这次降价包括云服务器ECS、对象存储OSS、云数据库都降价了,真降价,直降价:百款产品直降,平均降幅20%,阿里云百科分享阿里云2024年降价信息汇总表
|
8月前
|
弹性计算 NoSQL 关系型数据库
阿里云降价:与百万全球客户共享阿里云15年技术突破与规模积累
阿里云降价:与百万全球客户共享阿里云15年技术突破与规模积累
|
Cloud Native 云计算
算力网络开源工作组首次算力网络在线论坛将在 OID China 2022 亮相
算力网络开源工作组首次算力网络在线论坛将在 OID China 2022 亮相
408 0
算力网络开源工作组首次算力网络在线论坛将在 OID China 2022 亮相
|
存储 弹性计算 人工智能
大数据性能提升28%!阿里云新一代本地SSD实例i4开放公测
计算性能稳定优异,极低访问延迟,主动运维
大数据性能提升28%!阿里云新一代本地SSD实例i4开放公测
|
SQL 机器学习/深度学习 存储
性能提升40%!阿里云神龙大数据加速引擎获TPCx-BB世界排名第一
神龙大数据加速引擎,针对大数据常用组件,如Spark、Hadoop、Alluxio等,结合阿里云神龙架构的特性,进行软硬一体化优化,形成独一无二的性能优势,最终,使复杂SQL查询场景性能相比社区版spark提升2-3倍,使用eRDMA加速Spark性能提升30%。
性能提升40%!阿里云神龙大数据加速引擎获TPCx-BB世界排名第一
|
Kubernetes Cloud Native 前端开发
2020 年国内 Serverless 用户规模:阿里云占比第一,达 66%
在中国信息通信研究院重磅发布的国内首个《云原生用户调查报告》中,阿里云 Serverless 产品凭借在双十一的技术锤炼和丰富的应用实践,在国内 Serverless 用户规模的占比达到 66%,远超其他云厂商总和,被认为是国内 Serverless 用户的首选。
12138 0
2020 年国内 Serverless 用户规模:阿里云占比第一,达 66%
|
机器学习/深度学习 算法框架/工具 异构计算
单颗GPU计算能力太多、太贵?阿里云发布云上首个轻量级GPU实例
阿里云发布了国内首个公共云上的轻量级GPU异构计算产品——VGN5i实例,该实例打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。
2695 0
单颗GPU计算能力太多、太贵?阿里云发布云上首个轻量级GPU实例
|
机器学习/深度学习 SQL 弹性计算
阿里云新品发布会周刊第52期 丨 进一步释放技术红利,阿里云推出全新内存增强型实例re6,性能提升30%
新产品、新版本、新技术、新功能、价格调整,评论在下方,下期更新!关注更多新品发布会!
1655 0
|
存储 安全
阿里云新一代云服务器即将上线,计算、存储、网络全面升级
4月2日,据阿里云透露,其全新一代企业级ECS以及弹性裸金属云服务器即将上线。
2594 0

热门文章

最新文章