所谓 “没有规矩，不成方圆”，纵观计算机体系结构的发展史，Benchmark一直在幕后担任着指挥棒的角色，深刻地影响、甚至左右着芯片行业的发展。远到超算领域的Linpack，CPU界的SPEC，近到GPU世界的3DMark以及智能手机的AnTuTu，不知道有多少公司多少工程师为此而“分”狂。AI 领域的benchmark却一直缺乏有领导性地位的公司带领。
在2018年云栖大会新一代异构计算专场的论坛上，阿里巴巴资深架构师徐凌杰发布了AI Matrix——AI Benchmark基准测试平台（https://aimatrix.ai），结合阿里在芯片领域的布局以及在AI方面的投入，重磅推出阿里的Benchmarks。
阿里的愿景是“让天下没有难做的生意”，AI Matrix定位则是“让天下没有难测的AI加速器”。
阿里巴巴资深架构师 徐凌杰
“我们不仅会将这套平台用于阿里内部的芯片设计和技术选型，同时也会把一部分的能力，通过（https://aimatrix.ai）网站以及相应的代码库开放，让所有有需要或者有志于为AI软硬件做出贡献的人，都可以从中获益。阿里是一家技术公司，但也是一家平台型的公司，平台型的公司特点就是要有开放性和包容性，我们希望通过自身经验能够帮到更多的人。一起共同来繁荣AI芯片、AI加速器这个市场，这是我们做AI Matrix的使命。“
芯片是AI发展的核心技术
根据权威的行业分析报告，AI芯片的市场将会从今年的70亿美金增长到2025年600亿美金的市场。在AI的三要素中，数据和算法都是阿里优势比较明显的地方，同时在算力上阿里也在大力推进芯片方面的布局。
“万事俱备，只欠东风。我们做芯片和造房子有点像，工程复杂度高，周期长，其中的核心人物在英文里都叫Architect，架构定的好不好是项目成败的根本。我们必须要从应用的需求出发，要做到Domain Specific软硬件的完美结合，就要定出一套合理的评估衡量标准，Benchmark就是一个硬需求，我们不仅要做，而且要花心思去做，把它给做好，这就是我们要借的东风。”
AI时代需要不一样的Benchmark
Benchmark可以帮助阿里以及开发者解决以下四个关键性问题：
- 通过调研和集群信息收集，真实反应AI应用和模型使用的现实情况
- 基于现有信息，对包括GPU在内的AI加速器解决方案的引入评估和选型制定一个标准
- 利用这些头部用例进一步推进软硬件融合，提高硬件的利用率
- 结合行业前沿的算法，对AI芯片的架构定义设计以及优化提供指引
“所以，在开始Benchmark的项目之初，我们就定好了平台化，灵活性，专业性以及可移植性四个主要方向，并创新性地提出了合成模型StatsNet来帮助我们实现信息及时灵活以及轻量级地落地，来促进AI加速器及时准确的迭代。我们初期的研发工作也得到了外界的认同，关于合成模型的方法论的论文也已经被今年即将在达拉斯举行的SC超算会议录用。”
AI = Architecture Intelligence
AI Matrix的定位将不仅仅是一个简单的测试集，而是希望能够在将来提供完整的工具链以及解决方案。在定位上，除了在做好Benchmark本身最基本的评测功能之外，阿里巴巴也会把它拓展到应用和资源优化的领域,，不仅做到Domain Specific软硬件结合，同时也能做到Agile Design架构的快速迭代。
“我们诚挚感谢合作伙伴对于阿里巴巴在人工智能发展推进上的支持和反馈，也希望有更多的公司组织甚至个人都能够参与到我们的项目中来，一起来携手共建更强大的AI 芯片架构的基础设施。”
希望AI Matrix成为AI芯片设计的征程上最好的指南针，不仅能够陪你走到目的地，而且能够让你看到最好的风景。
代码库：https://github.com/alibaba/ai-matrix
欢迎加入：aimatrix@list.alibaba-inc.com
