开发者社区> 云攻略小攻> 正文

阿里云计算能力实现新突破 BigBench全球首次达到100TB

简介:
+关注继续查看

在10月11日开幕的“2017杭州·云栖大会”首日主论坛,阿里云总裁胡晓明重点介绍新一代计算平台MaxCompute+PAI。
image

在12日的主论坛中,阿里巴巴集团副总裁,搜索事业部&计算平台事业部负责人周靖人说,数据是机器智能创新的基础,拥有充沛的计算能力才能全面释放数据的价值。随后周靖人与英特尔公司数据中心事业部副总裁Rob Hays共同进行BigBench On MaxCompute[1] 2.0+PAI的重磅发布。本次发布突破了TPCx-BB[2] 公布的各项历史最佳成绩,体现出MaxCompute极强的大规模数据处理能力以及公共云相对传统模式的绝对优势。
image

目前TPC官网公布的测试最大规模为10TB,最佳性能1491.23BBQpm,最高性价比589 Price/BBQpm。而此次阿里云发布的BigBench on MaxCompute 2.0+PAI,在全球范围内首次将规模拓展至100TB,成为首个达到7000分的引擎,也成为首个基于公共云服务的Benchmark。

据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAI的SDK(继承自TPCx-Bigbench,并使之运行在阿里云的大数据环境上),供开发者验证试用。

BigBench on MaxCompute在规模上的巨大突破,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。

在性能上MaxCompute新一代处理引擎从Compiler、Optimizer、runtime等模块进行的持续深度优化。提供高性能计算的同时,阿里云机器学习PAI也为用户提供了强大的算法实验平台,包括传统的机器学习,也包括最新的深度学习以及增强学习等。同时为了满足阿里巴巴各种业务场景对于算法的需求,PAI 提供了大量的算法以及工具,并在性能以及数据规模上做了各种优化。

此外,MaxCompute与Intel开展深度合作,软硬结合深度优化,充分发挥Intel至强®可扩展处理器架构优势。英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化,并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。

那么,究竟BigBench on MaxCompute2.0+PAI可以为开发者释放哪些计算红利,以帮助开发者抓住更多市场机遇呢?
1、 突破规模限制。当BigBench作业的数据量达到10T以上时,市面上大多数产品会遇到各种瓶颈,无法进一步扩展。BigBench on MaxCompute可以将数据规模扩展到100T,轻松满足用户业务上不断增长的数据量需求。
2、 不断降低成本。采用传统的硬件厂商+软件的方式需要购买服务器。虽然服务器成本可以分摊到服务器生命周期,但是硬件成本是逐年下降的,购买硬件服务器相当于用更高的价格预购未来的计算资源,必然导致抬高成本。BigBench采用pirce/QPM的方式计算性价比。与传统的采购硬件的方式相比,MaxCompute支持预付费和按量付费,计价方式非常灵活,性价比具有显著优势。
3、 满足扩展性需求。互联网时代数据量需求随时可能会迎来爆炸式增长。传统的购买硬件方式周期太长,无法及时响应需求。BigBench on MaxCompute可按需扩充,实时响应企业数据扩展需求。
4、 免服务运维。传统的硬件机房需要有运维团队保证,一般用户无法保证高质量的运维。BigBench on MaxCompute采用公有云免运维方式,企业客户不需投入专门的运维人员进行维护。
BigBench on MaxCompute基于TPCx-BB进行修改,兼容所有TPCx-BB语义。作为工业级Benchmark,TPCx-BB涵盖了大数据处理的多种作业类型,包括SQL、MapReduce、Streamling、MachineLearning等。BigBench on MaxCompute对这些作业类型完成了覆盖,展示了MaxCompute在大数据处理的软件栈完整性,下表是BigBench on MaxCompute的软件栈列表:

image

BigBench on MaxCompute作为工业级benchmark,展示了MaxCompute在大数据软件栈的完整性,并且从规模、成本、扩展性等多个方面都有更好表现。
BigBench on MaxCompute的接入十分方便,企业客户只需满足如下条件就能轻松接入使用。

  1. 拥有阿里云账户;
  2. 需要BigBench on MaxCompute套件;
  3. 安装MaxCompute客户端。
    具体使用方式参照MaxCompute官方文档和BigBench on MaxCompute接入指南。

[1] BigBench on MaxCompute, 基于TPCx-BB衍生出来,兼容TPCx-BB所有语义。
[2] TPCx-BB, 事务性能管理委员会(TPC*)于2016年2月正式发布TPCx-BB(BigBench)。第一个基于端到端的大数据分析领域应用级测试基准。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,大概有三种登录方式:
7592 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
13776 0
使用SSH远程登录阿里云ECS服务器
远程连接服务器以及配置环境
10654 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
17691 0
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
33528 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
19778 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
15501 0
+关注
云攻略小攻
计算,存储,网络,数据库,企业应用服务,开发者服务统统在这里。
442
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载