随着人工智能技术的飞速发展，自然语言处理（NLP）领域取得了显著的进步。特别是Transformer架构的提出，极大地推动了NLP任务的边界，如语音识别、机器翻译和文本生成等。然而，随着模型规模的不断扩大，计算资源的需求也呈指数级增长，这对于资源受限的环境，如移动设备和机器人，构成了巨大的挑战。
在这样的背景下，华为诺亚方舟实验室的研究人员提出了一种名为DiJiang的新方法，旨在通过紧凑的核化技术，将预训练的传统Transformer模型转化为具有线性复杂度的模型，同时显著降低训练成本。DiJiang的核心思想是采用频域核化方法，通过离散余弦变换（DCT）操作，有效地将Transformer中的查询和键映射到频域，从而消除了注意力机制中的softmax操作，实现了线性复杂度的注意力计算。
DiJiang方法的提出，是对现有线性注意力机制的一种重要补充。以往的研究主要集中在通过模型剪枝、量化和开发更高效的注意力机制来优化Transformer架构。尽管这些方法在理论上具有吸引力，但它们通常需要对模型架构进行重大修改，并且需要从头开始训练新的模型以达到最佳性能。DiJiang的出现，为大型语言模型的优化提供了一种更为高效的途径。
在实验中，DiJiang展现了令人瞩目的性能。与原始的Transformer模型相比，DiJiang在多个公共数据集上取得了相当的表现，同时训练成本降低了约10倍，推理速度也有了显著提升。例如，DiJiang-7B模型在各种基准测试中与LLaMA2-7B模型的表现相当，但所需的训练数据量仅为后者的1/50。这一结果不仅证明了DiJiang在保持模型性能的同时降低训练成本的有效性，也展示了其在处理长序列时的优越性。
然而，DiJiang方法也存在一些局限性。首先，尽管DiJiang在减少训练成本方面取得了显著成效，但其在模型泛化能力和处理长序列方面的表现仍需进一步验证。此外，DiJiang的核化方法虽然在理论上具有优势，但在实际应用中可能会遇到一些技术和实现的挑战。例如，如何确保在频域映射过程中保留足够的信息，以及如何优化DCT操作以进一步提高效率，都是未来研究需要关注的问题。
