单颗GPU计算能力太多、太贵?阿里云发布云上首个轻量级GPU实例

简介: 当地时间3月18日,在硅谷举办的2019年NVIDIA GPU技术大会(GTC)上,阿里云发布了国内首个公共云上的轻量级GPU异构计算产品——VGN5i实例,该实例打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。

当地时间3月18日,在硅谷举办的2019年NVIDIA GPU技术大会(GTC)上,阿里云发布了国内首个公共云上的轻量级GPU异构计算产品——VGN5i实例,该实例打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。

在该实例发布之前,业内均采用以单颗物理GPU为单位的云端异构计算服务,这有利于客户获得强有力的计算能力。如阿里云在2017年10月推出了业界最全的异构计算家族,以及基于一个异构平台的高性能计算平台E-HPC,为用户提供单颗起步至超大规模的弹性计算服务。当用户业务遇到业务高峰时可以在数分钟内实现扩容,大幅降低了企业使用异构计算能力的门槛,目前已服务于新浪微博、旷视科技、中国工程院等众多企业和机构。

然而,在不少使用异构计算服务的场景中,“计算资源过剩”问题也尤为明显。以云游戏为例,企业通常仅需要一颗物理GPU几分之一的计算能力即可流畅完成图形或视觉计算;人工智能领域也存在类似问题,深度学习推理场景对GPU的计算资源消耗可能仅仅是训练阶段的数十分之一,甚至更少。对于这类应用场景而言,轻量级计算异构产品可以提升系统灵活性,并大幅降低成本。

而阿里云本次首家提供云上轻量级GPU实例,意味着用户可以用更细粒度的计算资源开启业务。该产品基于NVIDIA Tesla P4 GPU,支持多种规格,企业可以按需选择实例规格或者在云市场选择NVIDIA Quadro虚拟工作站,适用于云游戏、AR/VR以及图形处理等随需应变的GPU计算场景。

阿里云表示,5月还将发布基于NVIDIA T4的GPU异构计算产品VGN6i实例,NVIDIA T4采用最新的Turing架构,在虚拟化环境中更为灵活,可加速深度学习和推理工作流程的Tensor Core,以及可加速光线追踪和批量渲染的RT Core。

该产品由阿里云与NVIDIA合作研发,集成了阿里云智能资源调度技术,用户可以按需选择适量的计算资源;同时,还采用了安全隔离技术,实现不同用户之间的强隔离,有效防止信息泄漏;除此之外,QoS控制技术保障了每个用户的GPU资源不被其他租户抢占。

阿里云智能异构计算产品专家张新涛表示,“随着轻量级GPU异构计算产品的推出,阿里云实现了GPU的异构计算场景全覆盖,可以为用户提供从从轻量到高性能计算的服务。”

云端异构计算并非单纯地堆积硬件性能,需要做深度的软硬件结合及优化才能发挥其性能优势。阿里巴巴集团在异构计算领域拥有多年研发经验,该技术大规模应用于拍立淘、商品分类等场景。

作为全球前三、国内第一的云服务商,阿里云拥有丰富的异构计算产品,具备智能调度、自动运维、实时扩容等能力,结合业界首个自研的异构计算加速框架Ali-Perseus,可以同时支持TensorFlow、Caffe、MxNet、Pytorch等流行机器学习框架在集群训练和推理时的加速,最高可以将深度学习任务成本降低50%以上。

2018年12月,在斯坦福大学发布的最新DAWNBench深度学习推理榜单,阿里云异构计算获得了图像识别性能及成本双料冠军。

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
Python
python小游戏7
python小游戏7
362 0
|
移动开发 前端开发
基于jeecg-boot的flowable流程自定义业务退回撤回或驳回到发起人后的再次流程提交
基于jeecg-boot的flowable流程自定义业务退回撤回或驳回到发起人后的再次流程提交
1397 0
|
人工智能 自然语言处理 搜索推荐
通义千问首次落地天玑9300移动平台
联发科天玑9300芯片携手阿里云通义千问大模型,实现移动端AI重大突破。通义千问在天玑9300上的高效运行,标志手机AI技术新高度,提供即时多轮对话体验。双方深度合作优化模型,通义千问18亿参数版在推理时内存占用低,速度高,为行业设定标准。双方启动AI智能体解决方案计划,推动下一代智能终端应用生态发展。高通等竞争对手也在加速大模型移动端部署,端侧AI市场竞争加剧。
945 1
通义千问首次落地天玑9300移动平台
|
机器学习/深度学习 存储 关系型数据库
深入Doris实时数仓:导入本地数据
深入Doris实时数仓:导入本地数据
|
算法
算法学习之路|棋盘问题(博弈)
小明和小红在玩一种棋盘游戏,棋盘的尺寸为n个方格*m个方格。一开始在棋盘的右上角(1,m)放一枚硬币,每次一个人可以将硬币向左、下或左下的方格移动。
2494 0
|
Java Linux Windows
Linux【工具 02】Linux+Windows环境下的md5校验
Linux【工具 02】Linux+Windows环境下的md5校验
622 0
|
安全 网络协议 Shell
SSH连接密码问题:原因、表现与解决方案
SSH连接密码问题:原因、表现与解决方案
5459 3
|
存储 人工智能 算法
程序与技术分享:Acwing算法笔记
程序与技术分享:Acwing算法笔记
|
安全 算法 C语言
C++ 实现“黑客世界“
C++ 实现“黑客世界“
228 2
|
存储 数据处理 数据格式
[笔记]音视频学习之视音频数据处理入门《一》YUV、RGB(下)
[笔记]音视频学习之视音频数据处理入门《一》YUV、RGB
852 0