Habana
Habana 成立于 2016 年初，是一家专注于数据中心训练和推理的 AI 加速器公司。Habana 已推出云端 AI 训练芯片 Gaudi 和云端 AI 推理芯片 Goya。
Goya 处理器已实现商用，在极具竞争力的包络功率中具有超大吞吐量和超低的实时延迟，展现出卓越的推理性能。Gaudi 处理器旨在让系统实现高效灵活的横向、纵向扩展。目前 Habana 正在为特定超大规模客户提供样品。
Goya、 Gaudi 架构图。图注：Habana
Goya 和 Gaudi 芯片具有相似架构，它们都依赖于 GEMM 引擎，该引擎是一个脉动矩阵乘法单元，与一组 tile 并排工作。每个 tile 包含一个本地软件控制的暂存器内存和一个张量处理核心（TPC），具有不同精度的矢量计算单元，即它们可以计算 8 位、16 位或 32 位的矢量化操作。TPC 和 GEMM 引擎通过 DMA 和共享内存空间进行通信，并通过 PCIe 与主机处理器进行通信。
基于 RISC 的 AI 加速器
Esperanto
Esperanto 成立于 2014 年，并在相当长一段时间内一直处于隐身模式，直到 2020 年底才宣布他们的第一款产品 ET-SoC-1 芯片，其基于台积电 7nm 工艺构建的 SoC 上集成了 1000 多个 RISC-V 内核、160M BYTE 的 SRAM 和超过 240 亿个晶体管，是该公司 AI 加速器系列的第一款产品。ET-SoC-1 是一款推理加速器，预计在今年投产。
Esperanto 的 ET-SoC-1 的架构图。图源：Esperanto/HotChips
TensTorrent
TensTorrent 成立于 2016 年，总部位于加拿大多伦多，目前估值 10 亿美元，这是一家计算公司，开发旨在帮助更快和适应未来算法的处理器。TensTorrent 提供的芯片系列不仅针对数据中心，也针对小型平台，此外，他们还提供 DevCloud。
TensTorrent：图的并行性与张量切片。图源：YouTube/TensTorrent
TensTorrent 核心。图源：YouTube/TensTorrent
Mythic
Mythic 是 AI 硬件领域最早的初创公司之一，它成立于 2012 年。迈克・亨利（Mike Henry）和戴夫・菲克（Dave Fick）为公司的核心创始人，他们分别担任 Mythic 公司的董事长和 CTO。该公司非常重视具备能源效率和成本更低的模拟技术，Mythic 提出了如何在模拟电路中使用较小的非数字电路电流来降低能量的消耗。
矩阵乘法运算中的权重和输入 / 输出数据差分。图源：Mythic
2020 年底，Mythic 推出了其第一代 AI 芯片 M1108 AMP。与很多 AI 芯片不同，M1108 基于更加成熟的模拟计算技术，而非数字计算。这提高了 M1108 的能效，也使网络边缘设备访问更加容易。
Mythic 还推出了一个模拟计算引擎 (ACE，Analog Compute Engine)，它使用闪存而不是 DRAM 来存储权重。本质上，它们不是从内存中获取输入和权重数据，而是将输入数据传输到权重闪存，并将其转换为模拟域，在模拟域中执行 MAC （multiply-and-accumulate）计算，并将其转换回以获取输出数据，从而避免从内存中读取和传输权重成本。
LightMatter
LightMatter 是一家诞生于 MIT 的初创公司，该公司押注于一种用光子而非电子执行运算的计算机芯片。这种芯片从根本上与传统的计算机芯片相区分，有望成为能够满足 AI「饥饿」的有力竞争者。LightMatter 首席执行官尼克・哈里斯（Nick Harris）曾说：「要么我们发明的新计算机继续下去，要么人工智能放慢速度。」
光子学与电子学计算属性。图源：HotChips/LightMatter
LightMatter 设计了一种基于脉动阵列的方法，通过使用编码为光信号波中不同相位的相移来操纵光子输入信号，以执行乘法和累加操作。由于光子学数据以光速流动，LightMatter 芯片以非常高的速度执行矩阵和矢量化运算，并且功率可降低几个数量级。
LightMatter 在 2021 年开始发售其首款基于光子的 AI 芯片 ——Envise，并为常规数据中心提供包含 16 个这种芯片的刀锋服务器。该公司目前已从 GV（前 Google Ventures）、Spark Capital 和 Matrix Partners 筹集到了 2200 万美元。
LightMatter 声称，他们推出的 Envise 芯片的运行速度比最先进的 Nvidia A100 AI 芯片快 1.5 至 10 倍，具体根据任务的不同有所差异。以运行 BERT 自然语言模型为例，Envise 的速度是英伟达芯片的 5 倍，并且仅消耗了其六分之一的功率。
Envise。图源：LightMatter
NeuReality
NeuReality 是一家于 2019 年在以色列成立的初创公司，由 Tanach 、 Tzvika Shmueli 和 Yossi Kasus 共同创立。
2021 年 2 月，NeuReality 推出了 NR1-P，这是一个以 AI 为中心的推理平台。2021 年 11 月，NeuReality 宣布与 IBM 建立合作伙伴关系，其中包括许可 IBM 的低精度 AI 内核来构建 NR1，这是一种非原型生产级服务器，与 FPGA 原型相比， AI 应用程序效率更高。
NeuReality NR1-P 原型。图源：ZDNet
- 详解 AI 加速器（一）：2012 年的 AlexNet 到底做对了什么？
- 详解 AI 加速器（二）：为什么说现在是 AI 加速器的黄金时代？
- 详解 AI 加速器（三）：架构基础离不开 ISA、可重构处理器……
原文链接：https://medium.com/@adi.fu7/ai-accelerators-part-iv-the-very-rich-landscape-17481be80917
