目前DNN benchmark V0.5评测工具已经在Github上开源。
国内的芯片产业有多火？
最明显的一个特征便是越来越多的新兴技术公司推出了适用于特殊场景的专用芯片。然而，在芯片“井喷”的背后，也暗藏着不少问题。
最近，镁客网为此采访了中国信息通信研究院云大所人工智能部副主任、中国人工智能产业发展联盟（AIIA）总体组组长、南京新一代人工智能研究院院长孙明俊，请她从第三方的角度解读了AI芯片背后的基准评测问题。
图 | 南京新一代人工智能研究院院长孙明俊
南京信新一代人工智能研究院，瞄准AI芯片评测
南京有多重视人工智能？
从南京经济技术开发区大力推进的智慧新港就能可见一斑，近几年，开发区除了引入像京东、科沃斯、创新工场这样的企业研究院，还和一些政府机构合作共建新型研究院，比如南京新一代人工智能研究院。
去年，中国信息通信研究院（以下简称“信通院”）与南京经济技术开发区在前期合作的基础上，依托中国信息通信研究院在人工智能领域技术储备及产业资源等优势，合作共建南京新一代人工智能研究院。
据悉，信通院近年来在云计算、大数据、人工智能、宽带移动通信、移动互联网等领域开展了政策、标准、评估测试等一系列研究工作。
在这样的背景下，南京新一代人工智能研究院也肩负起了有关人工智能的标准评测工作。正如孙明俊所言，“做标准或者评测都是需要平台型的专业机构来做，所以信通院想做这个事情。”
另一方面，整个AI行业涌现出种类繁杂的AI加速芯片，但这些功能复杂多样的芯片却没有一个统一的衡量标准，去评估计算性能、单位能耗算力的具体情况。同时，对于那些想要购买芯片的需求方来说，也难以从厂商的官方信息中判断该芯片是否可以满足真实场景的需求。
更关键的是现有的基准测试不适合评测AI芯片，在这种供需信息不对等的情况下，更迫切需要一个中立第三方去给出合适的评估解决方案。
南京新一代人工智能研究院就担负起了这个评估的工作。去年，中国人工智能产业发展联盟（由国家发改委、科技部、工信部、网信办指导，中国信息通信研究院等单位发起）联合阿里巴巴集团、百度、寒武纪科技等多家企业，推出了AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案。
在2018 AIIA人工智能开发者大会上，孙明俊代表中国人工智能产业发展联盟发布了该评估方案的V0.5版本。
AI芯片评测工具，引导规范专用芯片市场
“为专用的芯片设立一个基准测试是非常重要的工作”孙明俊在镁客网的采访中再三强调了测试平台在整个AI产业发展中的重要性和关键性。“这是产业链中不可或缺的一个环节。特别是在产业发展的初期，技术路线尚未明确的情况下，一个好的基准测试应该做到的是树立清晰的指标技术竞争体系，这即可以帮助企业快速进步，同时也客观反映当前产品现状，一个行业如果充斥着太多鱼龙混杂的产品，就很难走下去。”
所以，必须有个第三方中立的机构去防止这个领域出现劣币驱逐良币的现象。
据孙明俊介绍，AIIA DNN benchmark V0.5测试主要面向端侧，旨在客观反映具有深度神经网络加速能力的处理器在完成推断任务时的性能。V0.5版本的评估工具基于Android/Linux系统，支持测评的机器学习训软件框架包括TensorFlow/Caffe等，已经完成的移动端适配环境有HiAI /MACE/ SNPE/TensorFlow Lite/Tengine。
在今年3月举办的“AI in 5G——引领新时代论坛”上，研究院发布了首轮的评估结果，包含四大典型场景和两大类评测指标。评测场景包括图像分类、目标检测、超分辨率、分割网络；评测指标则包括速度（fps）和算法性能，算法性能指标涉及如top1 、top5、mAP、mIoU、PSNR等。
谈及当前的AI基准测试，除了AIIA之外，阿里、寒武纪以及百度均有动作：阿里在去年的云栖大会上推出了AI Matrix；中科院计算所、寒武纪、科大讯飞、京东、锐迪科、AMD等六家则是携手推出BenchIP。国外的MLPerf也于去年5月由谷歌牵头联合全球各大科技公司与高校开展相关基准测量工具研究。
当被问及AIIA的评测工具相较于其他基准测试工具的优势，孙明俊强调，“我们没有产品倾向性，是非常中立且不带产品色彩的独立第三方测试。”
值得一提的是，孙明俊也强调AIIA DNN benchmark是深度学习处理器领域首次区分整型和浮点对比的Benchmark。
AI芯片评测非一日之功，开源工具鼓励企业多参与
虽然AI芯片评测工具已经推出，但是考虑到专用芯片的复杂性，也给评估工作带来一些困难。
“我们面临的一个很大的问题是适配，比如TensorFlow/Caffe适配到高通、海思都要做大量的工作，但是以前的通用CPU评测就不存在这个问题。”
孙明俊表示适配的难度之外，由于芯片上搭载的场景也非常多，所以需要测试的场景相应也会很多。另外延迟、带宽、能耗也都要纳入考虑范围，再加上各种神经网络模型有不同参数，不同参数下又有不同的输出曲线，所以测试基准工具也得不断地迭代下去。
虽然有很多企业也在做AI芯片的基准测试，但是整个业内似乎还缺少统一的标准。对此，孙明俊解释道，“AI基准测试之所以还没有任何一家企业被公认为标准的行业测试体系，其原因就在于人工智能处理器的多样化，处理器的尺寸、功能、构架、制程不同，应用的领域、范围、特定场景不同，也就导致了人工智能处理器的复杂化。”
而评测体系如果想要建立好，就必须要把所有处理器可能遇到的场景和问题考虑进去。这点也正是行业难点之所在。
所以为了吸引更多的企业参与到专用芯片测试中，目前DNN benchmark V0.5评测工具已经在Github上开源。
