在人工智能领域，大型语言模型（LLM）的快速发展为自然语言处理任务带来了革命性的突破。然而，随着模型规模的不断扩大和上下文长度的增加，LLM在处理长文本时面临着巨大的内存和吞吐量需求。为了解决这一问题，无问芯穹团队提出了一种名为Mixture of Attention（MoA）的混合稀疏注意力方案，旨在通过自动调整不同注意力头和层的稀疏注意力配置，实现长文本生成的加速和吞吐率的提升。
MoA方案的核心思想在于，不同注意力头和层在处理长文本时具有不同的注意力模式和准确性-延迟权衡。传统的稀疏注意力方法通常采用统一的稀疏注意力掩码，无法捕捉到这种多样性。而MoA方案则通过构建和探索各种注意力模式及其相对于输入序列长度的缩放规则的搜索空间，为每个注意力头和层量身定制稀疏注意力配置。
具体而言，MoA方案首先对模型进行分析，评估不同配置的潜力，并确定最佳的稀疏注意力压缩计划。在处理不同输入大小时，MoA方案能够自适应地调整注意力头的焦点范围，使其能够扩展以适应更长的序列，或者保持对固定长度局部上下文的关注。这种灵活性使得MoA方案能够在保持相同平均注意力跨度的情况下，显著增加有效上下文长度。
为了验证MoA方案的有效性，无问芯穹团队在Vicuna-{7B,13B}和Llama3-{8B,70B}等多个模型上进行了实验。结果表明，MoA方案能够将有效上下文长度提高3.9倍，同时在相同平均注意力跨度下，将检索准确性提高1.5-7.1倍。此外，MoA方案还显著缩小了稀疏模型和密集模型之间的能力差距，将最大相对性能下降从9%-36%减少到5%以内。
在GPU内存使用方面，MoA方案实现了1.2-1.4倍的内存减少，同时将解码吞吐量提高了6.6-8.2倍和1.7-1.9倍，分别与FlashAttention2和vLLM相比。这些结果表明，MoA方案在实现长文本生成加速的同时，对性能的影响微乎其微。
MoA方案的优势在于其能够自动调整不同注意力头和层的稀疏注意力配置，以适应不同的输入大小和任务需求。这种灵活性使得MoA方案能够在保持相同平均注意力跨度的情况下，显著增加有效上下文长度，从而提高长文本生成的效率和准确性。
然而，MoA方案也面临着一些挑战。首先，构建和探索各种注意力模式及其相对于输入序列长度的缩放规则的搜索空间需要大量的计算资源和时间。其次，MoA方案的自适应调整机制需要在运行时进行，这可能会增加模型的复杂性和计算开销。最后，MoA方案的适用性可能受到特定任务和数据集的限制，需要进一步的研究和验证。
从第三方客观视角来看，MoA方案的提出为解决LLM在处理长文本时面临的内存和吞吐量需求问题提供了一种创新性的解决方案。其自动调整不同注意力头和层的稀疏注意力配置的思想，能够有效捕捉到不同注意力模式和准确性-延迟权衡的多样性，从而实现长文本生成的加速和吞吐率的提升。
然而，MoA方案也存在一些潜在的局限性和挑战，需要在未来的研究中进一步探索和解决。例如，如何在保证性能的前提下，降低构建和探索搜索空间的计算资源和时间需求；如何优化自适应调整机制，减少运行时的计算开销；以及如何提高MoA方案在不同任务和数据集上的适用性等。
