每秒处理107万张图片!阿里云打破MLPerf图像分类性能记录

简介: 图像分类性能测试中,阿里云震旦异构计算加速平台在通用GPU开放规则和离线场景下以每秒处理107.8万张图片的成绩,打破了此前谷歌保持的世界纪录。

今天,国际权威AI基准测试MLPerf公布了2021年最新推理测试榜单。

图像分类性能测试中,阿里云震旦异构计算加速平台在通用GPU开放规则和离线场景下以每秒处理107.8万张图片的成绩,打破了此前谷歌保持的世界纪录。

这将进一步提升图像识别、自动驾驶等场景下的计算效率,也是通用GPU计算平台上首次跑出超百万级的性能测试纪录。

1619578777407_C6FCEF64-E81C-4272-B3D3-E821746E1A34.png

震旦是阿里云自研的异构计算加速平台,可实现AI框架及算法的无缝迁移适配,支持云变端多场景快速部署,大幅提升AI应用开发效率。

在MLPerf最新版的图像分类测试中,震旦平台针对图像分类神经网络架构进行自动优化,在保证基准测试精度目标的同时,远超标准ResNet50 v1.5的计算效率。

阿里云异构计算首席科学家、震旦加速平台负责人张伟丰博士透露,震旦对底层软件框架做了大量编译优化,可在同等硬件配置下发挥更高性能。

MLPerf推理性能的单卡测试结果显示,使用震旦加速平台的自动优化技术,在英伟达AI专用GPU A100上跑出了比同级硬件高出80%的推理性能成绩;在其它AI加速芯片上,更可帮助提升超过300%的性能。

1619578844847_1F21C926-C6F9-47f3-963C-FFB93713F8CF.png

震旦异构计算加速平台之所以在此次评测中取得如此优异成绩,得益于其出色的软硬件全栈优化能力:

· 在顶层算法模型上,使用基于自动机器学习(AutoML)的模型设计方式,这种方式可以获得比人工设计更高效的模型。

· 震旦基于MIT的先进的神经网络架构搜索算法Once-For-All,使用了基于强化学习的自研搜索算法获得了高性能子网络。

· 通过INT8量化获得硬件加速继续提高性能,并在量化前进行深度重训练,以保证量化后的精度能够达到测试的精度要求。

1619578907568_D1A40C47-428E-4530-9A3A-615BB41515DF.png
上图为高性能子网络示意图,IRB即反转残差块(Inverted Residual Block),是用于网络架构搜索的基本模块。每个反转残差块包括三层卷积算子,图上反转残差块的长度代表了该块的输出channel数量。

而基于震旦异构计算加速平台的机器学习模型自动优化技术,可应用在包括视觉处理在内的多个场景。

场景一:自动驾驶

以自动驾驶为例,车载计算机通过实时协同处理摄像头或雷达信息,正确感知行驶环境并据此做出反应。

目前先进的自动驾驶解决方案需要配备10路甚至更多的视觉和雷达装置,不断增加的外部传感数据处理对车机系统计算能力提出了挑战。

而采用震旦平台的软硬协同自动优化技术后,车载计算机的处理速度至少提升一倍,从而对行驶环境做出更加迅速的感知,并大幅提高自动驾驶的安全性。

场景二:电商

基于相同GPU硬件采用编译自动优化技术后,自动分类标记产品图像或者搜索图像效率大幅提升——服务器数量减少75%,通过图片关联的产品推荐速度提升5倍,用户购物体验更加流畅。

场景三:交通

目前,震旦异构计算加速平台已大规模应用于路口检测、以图搜图等场景。

应用了震旦加速平台的新一代路侧智能控制终端,交通参数检测准确率可达99%,帮助路口通行效率优化提升20%以上。

此外,该平台已通过阿里云弹性计算加速实例EAIS对外提供服务,具备配置灵活、弹性伸缩等特点,为用户提供高性价比的深度学习解决方案。

MLPerf

MLPerf是业内首套衡量机器学习软硬件性能的通用基准,由图灵奖得主David Patterson联合科技公司和全球顶级高校于2018年发起,已成为业界评测AI性能的最主流标准之一。

MLPerf基准联盟现有50多家成员,包括谷歌、阿里巴巴、微软、Facebook等及斯坦福、哈佛、多伦多大学等名校。

备注:来源| 阿里云公众号

相关实践学习
在云上部署ChatGLM2-6B大模型(GPU版)
ChatGLM2-6B是由智谱AI及清华KEG实验室于2023年6月发布的中英双语对话开源大模型。通过本实验,可以学习如何配置AIGC开发环境,如何部署ChatGLM2-6B大模型。
相关文章
|
8月前
|
人工智能 JSON 网络协议
音乐人狂喜!AbletonMCP:让AI帮你写歌,一句话生成专业编曲,Demo级作品秒出
AbletonMCP 是一个开源项目,通过模型上下文协议(MCP)将 Ableton Live 与 Claude AI 连接,实现 AI 辅助音乐制作,支持创建、修改 MIDI 和音频轨道等操作。
608 10
音乐人狂喜!AbletonMCP:让AI帮你写歌,一句话生成专业编曲,Demo级作品秒出
|
Kubernetes jenkins 持续交付
在jenkins中连接kubernetes集群
在jenkins中连接kubernetes集群
|
存储 Java 关系型数据库
Springboot AOP实现指定敏感字段数据加密 (数据加密篇 二)
Springboot AOP实现指定敏感字段数据加密 (数据加密篇 二)
2155 0
Springboot AOP实现指定敏感字段数据加密 (数据加密篇 二)
|
9月前
|
人工智能 自然语言处理 API
Hologres × PAI × DeepSeek 搭建 RAG 检索增强对话系统
本文介绍如何使用PAI-EAS部署基于DeepSeek大模型的RAG(检索增强生成)服务,并关联Hologres引擎实例。Hologres与阿里云自研高性能向量计算软件库Proxima深度整合,支持高性能、低延时的向量计算能力。通过PAI-EAS,用户可以一键部署集成了大语言模型和RAG技术的对话系统服务,显著缩短部署时间,并提高问答质量。部署步骤包括准备Hologres向量检索库、部署基于DeepSeek的RAG服务、通过WebUI进行模型推理验证,以及通过API调用进行模型推理验证。Hologres还提供了特色功能支持,如高性能向量计算等。
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
《打破知识壁垒:解锁自然语言处理模型跨领域知识图谱关联与推理密码》
在人工智能快速发展的背景下,自然语言处理(NLP)技术成为各行业智能化变革的关键。知识图谱作为结构化的语义知识库,通过“实体-关系-实体”三元组描绘现实世界的概念及其关系,为NLP模型提供背景知识和推理依据。然而,随着多领域知识的爆发式增长,如何实现不同领域知识图谱的有效关联与推理成为亟待解决的问题。本文探讨了理解领域特性、实体对齐、关系映射与融合及深度学习推理模型构建等关键步骤,旨在打破领域间知识壁垒,提升NLP技术的智能化水平,推动其在智能问答、推荐、决策辅助等领域的广泛应用。
391 1
|
存储 安全 数据挖掘
《C 语言字符串处理:从基础操作到高级应用》
《C 语言字符串处理:从基础操作到高级应用》全面介绍了C语言中字符串的处理方法,从基本概念、常见操作到复杂应用,适合初学者及有经验的开发者参考学习。本书通过丰富实例讲解,帮助读者掌握字符串处理技巧。
|
关系型数据库 MySQL Linux
一次虚拟机centos7系统崩溃恢复记录
一次虚拟机centos7系统崩溃恢复记录
893 0
|
小程序 前端开发 JavaScript
小程序的详细开发流程是什么?
【10月更文挑战第16天】小程序的详细开发流程是什么?
1452 0