近日，全球权威AI基准评测MLPerf公布了最新Inference(推理) V1.1榜单。阿里云震旦异构平台以稳定、强大的软硬协同优化能力，在边缘计算场景封闭组提交的所有三项性能结果均取得了业界第一的好成绩，再续其在通用硬件平台和基准软件基础上软件调优的辉煌。
MLCommons
MLPerf™是目前全球最具影响力的国际AI性能测试基准，用于测试机器学习模型和相应的软硬件系统协同工作性能，为行业从业人员衡量系统性能提供详细的数据参考。MLCommons组织每年交叉发布2次MLPerf™训练性能和2次MLPerf™推理性能榜单。
相对于五个月前发布的推理性能V1.0榜单，此次V1.1榜单上的绝大部分系统都取得了5-30%性能提升，其中部分系统甚至达到了2倍性能提升，这也证明了软件栈优化在AI算力优化领域的巨大潜力。
封闭组(Close Division)测试要求数据提交方使用相同AI模型和优化器，这对于实际用户评测AI计算系统本身的性能具备很强的对比和参考意义，因此一直是MLPerf™榜单上角逐最激烈及主流厂商最关注的领域。
此次阿里云正是针对封闭组的严格要求，基于目前主流通用GPU硬件，以离线场景单卡性能成绩作为基准点，提交了边缘计算场景下目标检测模型的全部三项性能测试数据。震旦平台对软件栈底层算子进行了超大规模、多层次的自动融合优化，大幅提高GPU算力利用率，并有效减少内存带宽占用，在所有的三个项目中，均超越了截止目前V1.1优化结果在内的业界最佳性能，最高达到14%以上。而相比较此前推理V1.0测试结果，震旦平台优化后的测试数据更是比业界最佳性能数据分别提升了21.8% (T4)、13.1% (A10) 和2.1% (A100)。
在五个月前的推理榜单V1.0中，阿里云主打数据中心侧开放组场景，来展示震旦平台的AI全栈自动优化能力。震旦对图像分类项的ResNet50模型进行高效、大空域的网络架构搜索和知识蒸馏重训练，从而得到一个最佳适配目标GPU、且符合测试精度要求的超轻量AI模型。而此次推理V1.1榜单中，震旦通过边缘计算封闭组场景的目标检测项SSD-MobileNet模型来展示其另一个方面的优化潜力：即在同样的AI模型下，震旦通过大规模、多层次的底层算子软硬协同优化能力，大幅实现模型的性能提升。
阿里云提交的性能数据也同样证明，震旦平台独有的大规模、多层次全栈自动调优能力，不仅适用于多种AI场景下的算法模型，也为多代通用GPU架构带来灵活的适配能力。此外，震旦平台的这种优化能力，也为未来各种AI模型在不同厂商的加速硬件架构上平滑迁移和部署打下了坚实基础。
本次阿里云提交成绩所使用的SSD-MobileNet模型，是目前轻量级目标检测领域最为领先和流行的模型之一，在视频图像分析领域业务有着广泛的应用，包括自动驾驶，菜鸟物流和智能交通出行等。
阿里巴巴作为MLCommons的创始会员，一直积极参与MLPerf™性能测试。2019年11月发布的MLPerf™推理性能测试0.5版本中，阿里巴巴平头哥AI芯片含光800在封闭优化规则下Resnet50基准测试中获得单芯片性能第一。技术驱动的阿里云在基础设施技术创新和前沿科技上不断突破，坚持软硬件协同创新，为云计算、人工智能和物联网提供更加先进的基础设施，给全球消费者带来更好的体验。
