在人工智能领域，Transformer模型凭借其卓越的性能和广泛的应用，已成为自然语言处理（NLP）任务的主流选择。然而，随着模型规模的不断扩大和计算资源的日益紧张，研究者们开始探索更高效的Transformer替代方案，如Sparse Transformer和Linear Transformer等。然而，近期北京大学和清华大学的研究团队分别发表了两篇论文，揭示了这些高效Transformer在推理能力上的局限性，并强调了原装Transformer在某些任务上仍具有不可替代的优势。
在第一篇论文《Do Efficient Transformers Really Save Computation?》中，研究团队对Sparse Transformer和Linear Transformer等高效Transformer模型进行了深入研究。他们发现，尽管这些模型在计算效率上有所提升，但在处理需要复杂推理的任务时，其性能并不如预期。具体而言，研究团队使用Chain-of-Thought（CoT）提示来评估模型的推理能力，并将这些任务建模为动态规划（DP）问题。
实验结果表明，虽然高效Transformer模型能够解决一般的DP问题，但它们需要的模型规模与问题规模成正比。这意味着，对于更复杂的问题，高效Transformer模型可能需要更大的计算资源和更长的训练时间。此外，研究团队还发现，对于某些特定的DP问题，高效Transformer模型的性能甚至不如原装Transformer。
在第二篇论文《RNNs are not Transformers (Yet): The Key Bottleneck on In-context Retrieval》中，研究团队比较了循环神经网络（RNN）和Transformer在解决算法问题上的表示能力。他们发现，尽管RNN在处理长序列时具有内存效率优势，但在使用CoT提示时，其性能仍无法与Transformer相媲美。
研究团队指出，RNN在上下文检索方面存在关键瓶颈，即无法完美地从上下文中检索信息。对于一些需要这种能力的显式或隐式任务，如关联回忆和判断图是否为树，RNN无法解决，而Transformer则能轻松应对。然而，研究团队也发现，通过采用增强上下文检索能力的技术，如检索增强生成（RAG）和添加单个Transformer层，RNN的性能可以得到显著提升，从而在使用CoT提示时解决所有多项式时间可解的问题，缩小与Transformer的表示能力差距。
这两篇论文的研究结果共同强调了原装Transformer在某些任务上仍具有不可替代的优势。首先，原装Transformer在处理需要复杂推理的任务时表现出色，如动态规划问题和算法问题。其次，原装Transformer在上下文检索方面具有天然优势，能够更准确地从上下文中提取信息，从而提高模型的泛化能力和鲁棒性。
此外，原装Transformer的架构设计也为其提供了更好的可扩展性和灵活性。通过增加模型层数和调整超参数，原装Transformer可以适应不同规模和复杂度的任务需求。相比之下，高效Transformer模型的架构设计往往更加固定，难以根据具体任务进行灵活调整。
尽管原装Transformer在某些任务上仍具有优势，但高效Transformer的研究和探索仍具有重要意义。首先，高效Transformer模型在计算效率上的提升可以为大规模NLP任务提供更可行的解决方案。其次，通过深入研究高效Transformer的局限性和改进方向，可以为未来更高效、更智能的NLP模型提供宝贵的经验和启示。
未来，研究者们可以继续探索如何在保持计算效率的同时，提高高效Transformer模型的推理能力和上下文检索能力。例如，可以尝试将原装Transformer的某些优势特性（如自注意力机制）融入到高效Transformer模型中，以实现性能和效率的平衡。此外，还可以研究如何利用其他类型的神经网络（如图神经网络）来解决特定类型的NLP任务，从而为NLP领域的发展开辟新的路径。
论文链接：https://arxiv.org/abs/2402.13934
论文链接：https://arxiv.org/abs/2402.18510
