最新MLPerf基准测试:基于阿里云GPU云服务器的AIACC在图像识别封闭式场景下夺冠

本文涉及的产品
轻量应用服务器 2vCPU 1GiB,适用于搭建电商独立站
轻量应用服务器 2vCPU 4GiB,适用于网站搭建
轻量应用服务器 2vCPU 4GiB,适用于搭建Web应用/小程序
简介: 最低延时0.38毫秒

图片0.png

近日,全球权威AI基准评测组织MLCommons公布了最新一期 MLPerf™ v2.1推理性能基准测试结果。阿里云在Edge封闭式、数据中心和Edge开放式、数据中心网络等场景均表现亮眼。其中,基于阿里云弹性计算GPU云服务器的神龙AI加速引擎(AIACC)在图像识别的Edge封闭式场景中实现了最低延时,突破性能天花板,处于业界第一


MLPerf Benchmark是一套用于测量机器学习软硬件性能的通用基准,由来自学术界、研究实验室和相关行业的 AI 领导者组成的联盟,旨在“构建公平和有用的基准测试”;评估在不同条件下,不同企业硬件、软件和服务的训练和推理性能;可以帮助企业简化选择AI软硬件服务的流程。


MLPerf覆盖了图像分类、目标检测、医学图像分割、自然语言处理等不同的AI服务场景,阿里云AIACC本次参与的主要是图像识别的封闭式推理场景。


封闭式即指在不对模型进行任何改动,仅优化底层软硬件平台的情况下获得的性能,具有极大优化难度。往期的封闭式场景结果中,搭载最新的NVIDIA TensorRT版本是所有NVIDIA GPU硬件平台的性能天花板,不同厂商的差距仅在于不同GPU硬件产生的小幅性能差异。本次MLPerf™ v2.1推理结果的Edge封闭式计算中,神龙AI加速引擎(AIACC)针对ResNet50的单流(单任务处理)推理进行了专门的深入优化,超过了直接使用NVIDIA TensorRT的用例,获得了0.38毫秒的最低延时,意味着在阿里云上识别一张图片只需要0.38毫秒。

图片1.1png.png

MLPerf Inference Edge v2.1截图


阿里云神龙加速引擎AIACC团队本次主要基于两款阿里云GPU云服务实例——gn7i、gn7e实例。


在gn7i实例上,AIACC实现了单流时延0.40 毫秒,低于业界其他厂商0.44-0.50毫秒的时延;在gn7e实例上,AIACC加速的ResNet50推理时延为仅为0.38毫秒,远低于其他厂商0.50-0.53毫秒的延时。

图片2.png

图片3.png


阿里云GPU云服务器是提供 GPU 算力的弹性计算服务,具有超强的计算能力,服务于深度学习、科学计算、图形可视化、视频处理多种应用场景,能为客户提供软件与硬件结合的完整服务体系,助力客户在实际业务中实现资源的灵活分配、弹性扩展、算力的提升以及成本的控制。


基于阿里云弹性计算服务ECS的神龙计算加速引擎致力于为阿里云ECS客户提供快速、便捷、用户无感的计算加速服务,覆盖AI训练与推理、大数据、通用计算等领域。在AI训练与推理领域,神龙AI加速引擎(AIACC)持续深耕性能优化技术,服务了大量客户优化AI计算业务性能,助力其业务在阿里云GPU云服务器上线部署和提速,并曾在世界AI性能权威榜单DAWNBench中斩获4项世界第一。在大数据领域,神龙大数据加速引擎(MRACC)亦在世界大数据权威榜单TPC Benchmark Express-BigBench(TPCx-BB) SF3000摘得桂冠。


AIACC和MRACC等性能优化技术在长期服务客户的过程中得以积累和沉淀,客户可在阿里云GPU云服务实例和阿里云弹性计算ECS实例上开放使用,应用无感的提升客户业务的性能。


点击这里,了解阿里云GPU云服务器。



丨近期活动预告

面对“元宇宙”概念兴起,我们邀请到NVIDIA中国Omniverse业务负责人何展、沙核科技创始人楼彦昕、阿里云弹性计算产品专家张新涛,分享行业理解、落地案例、瓶颈挑战等。数字世界先锋x科技艺术家x云计算活化石,欢迎看三位碰撞出何种观点。


本次对谈节目,将于9月26日下午2点播出,点击这里预约直播


活动海报_1080_1920.jpg


相关文章
|
4月前
|
边缘计算 安全 5G
高精度时钟同步测试仪:构建全场景时间同步生态
在数字化转型中,时间同步至关重要。西安同步电子科技的 SYN5106 高精度时钟测试仪,具备±20ns 时差测量精度与 GPS/北斗双模授时能力,广泛应用于电力、通信、金融和科研领域。它解决变电站时间偏差、5G 基站同步误差及高频交易延迟等问题,助力智能电网、5G 网络和科研实验。产品便携可靠,支持多协议,满足国家安全要求,为各行业提供精准时间同步解决方案。未来将探索量子通信与深空探测等领域,持续推动技术创新。
|
8天前
|
人工智能 边缘计算 搜索推荐
AI产品测试学习路径全解析:从业务场景到代码实践
本文深入解析AI测试的核心技能与学习路径,涵盖业务理解、模型指标计算与性能测试三大阶段,助力掌握分类、推荐系统、计算机视觉等多场景测试方法,提升AI产品质量保障能力。
|
5月前
|
JavaScript 数据可视化 Docker
简易制作MCP服务器并测试
本文介绍了如何简易制作并测试MCP服务器,包括环境搭建、代码实现及Docker部署。首先通过uv包创建项目,在main.py中定义MCP服务器及其工具和资源函数。接着详细说明了在Windows上安装uv、配置Docker镜像加速、生成requirements.txt文件以及编写Dockerfile的过程。最后,通过构建和运行Docker容器部署MCP服务器,并使用Node.js工具测试其功能,确保服务器正常工作。此教程适合初学者快速上手MCP服务器的开发与部署。
2373 63
|
10月前
|
运维 Prometheus 监控
如何在测试环境中保持操作系统、浏览器版本和服务器配置的稳定性和一致性?
如何在测试环境中保持操作系统、浏览器版本和服务器配置的稳定性和一致性?
|
4月前
|
编解码 5G 定位技术
时间频率综合测试仪优势所在及场景使用介绍
时间频率综合测试仪是保障系统精准运行的关键设备。以西安同步电子科技有限公司的SYN5104型为例,它集时间标准源、时差测量和频率测试于一体,功能涵盖时间准确度、频率分析、PPS/B码/E1/PTP/NTP测试等,精度达30ns。其便携设计适用于研发、标定、现场检测,支持电力系统校准、通信同步测试及科研校准等场景,助力高精度时频同步与产品质量提升。文章版权归西安同步电子科技有限公司所有,严禁侵权。
|
6月前
|
存储 文件存储 对象存储
AI 场景下,函数计算 GPU 实例模型存储最佳实践
AI 场景下,函数计算 GPU 实例模型存储最佳实践
139 0
|
8月前
|
存储 文件存储 对象存储
AI 场景下,函数计算 GPU 实例模型存储最佳实践
当前,函数计算 FC 已被广泛应用在各种 AI 场景下,函数计算支持通过使用容器镜像部署 AI 推理应用,并且提供多种选项来访问训练好的模型。为了帮助开发者高效地在函数计算上部署 AI 推理应用,并快速解决不同场景下的模型存储选型问题,本文将对函数计算的 GPU 模型存储的优缺点及适用场景进行对比分析,以期为您的模型存储决策提供帮助。
|
11月前
|
存储 监控 网络协议
服务器压力测试是一种评估系统在极端条件下的表现和稳定性的技术
【10月更文挑战第11天】服务器压力测试是一种评估系统在极端条件下的表现和稳定性的技术
552 32
|
11月前
|
缓存 监控 测试技术
服务器压力测试
【10月更文挑战第11天】服务器压力测试
526 31
|
10月前
|
JavaScript 安全 编译器
TypeScript 与 Jest 测试框架的结合使用,从 TypeScript 的测试需求出发,介绍了 Jest 的特点及其与 TypeScript 结合的优势,详细讲解了基本测试步骤、常见测试场景及异步操作测试方法
本文深入探讨了 TypeScript 与 Jest 测试框架的结合使用,从 TypeScript 的测试需求出发,介绍了 Jest 的特点及其与 TypeScript 结合的优势,详细讲解了基本测试步骤、常见测试场景及异步操作测试方法,并通过实际案例展示了其在项目中的应用效果,旨在提升代码质量和开发效率。
217 6

热门文章

最新文章

相关产品

  • 云服务器 ECS
  • GPU云服务器