去年 12 月，新架构 Mamba 引爆了 AI 圈，向屹立不倒的 Transformer 发起了挑战。如今，谷歌 DeepMind Hawk 和 Griffin 的推出为 AI 圈提供了新的选择。
Griffin模型是一种高效的语言模型，它结合了门控线性递归（Gated Linear Recurrences）和局部注意力（Local Attention）机制。这种混合模型旨在提高语言模型在处理长序列时的性能，同时保持与Transformer模型相当的硬件效率。
Griffin模型包含三个关键组件：残差块（Residual Block）、MLP块（MLP Block）和时间混合块（Temporal-Mixing Block）。其中，时间混合块是模型的核心部分，它聚合了序列中不同时间位置的隐藏层激活。Griffin模型采用了三种时间混合块：全局多查询注意力（Global Multi-Query Attention, MQA）、局部MQA和提出的递归块。递归块是Griffin模型的创新之处，它使用了Real-Gated Linear Recurrent Unit（RG-LRU）层，这是一种新型的递归层，受到线性递归单元（Linear Recurrent Unit, LRU）的启发。
RG-LRU层是Griffin模型的核心，它结合了简单的递归结构和门控机制，灵感来源于非线性RNN，特别是LSTM（Long Short-Term Memory）和GRU（Gated Recurrent Unit）。RG-LRU层的输出是递归权重的对角化形式，所有操作都是元素级的，这保证了模型的稳定性和高效性。该层的门控机制允许模型在保持历史信息的同时，减少无关输入的影响，从而实现超指数级记忆。
Griffin模型结合了局部注意力机制，这种机制允许每个位置只关注过去的固定数量的标记，从而降低了计算复杂度，并限制了KV缓存的大小。局部注意力与递归块的结合使得模型能够有效地处理长序列，同时保持了固定大小的隐藏状态。
Griffin模型在训练时与Transformer模型具有可比的硬件效率，尤其是在使用TPU-v3硬件时。为了提高训练效率，Griffin模型采用了特定的内核实现，最小化了内存传输。
在推理阶段，Griffin模型实现了比MQA Transformer更低的延迟和显著更高的吞吐量，尤其是在处理长序列时。Griffin模型在处理比训练时更长的序列时表现更好，能够有效地学习复制和检索任务。
Griffin模型能够扩展到14B（140亿）参数，这表明模型具有良好的扩展性。为了实现高效的分布式训练，Griffin模型支持模型分片（sharding）。
Griffin模型在下游任务上的表现与Llama-2模型相当，尽管训练时使用的标记数量大约只有Llama-2的七分之一。Griffin模型在处理长序列时能够外推，即在训练序列长度之外的序列上也能准确预测下一个标记。
Griffin模型的研究与Transformer架构、状态空间模型（SSMs）、线性注意力等现有技术有关，这些技术都在寻求提高语言模型在处理长序列时的效率和性能。
Griffin模型提供了一种强大且高效的替代Transformer模型的方法，特别是在处理长序列和保持硬件效率方面。Griffin模型的这些特点使其在语言建模领域具有潜在的应用价值，尤其是在需要处理长序列数据的场景中。通过结合门控线性递归和局部注意力，Griffin模型在保持模型性能的同时，显著提高了训练和推理的效率。
