在2024年的国际机器学习会议（ICML）上，一项引人注目的研究突破吸引了众多学者的目光。这项由Ziqi Gao、Qichao Wang、Aochuan Chen、Zijing Liu、Bingzhe Wu、Liang Chen和Jia Li共同完成的工作，提出了一种新型的微调方法——傅立叶变换微调（Fourier Transform for Fine-Tuning，简称FourierFT）。这种方法以其显著减少训练参数的能力，成功脱离了以往依赖低秩矩阵的LoRA（Low-rank Adaptation）架构，为大型基础模型（Large Foundation Models，简称LFMs）的微调开辟了新的道路。
FourierFT的核心思想是利用傅立叶变换的强大表达能力，通过学习权重变化矩阵的一小部分频谱系数来实现对模型的微调。具体而言，该方法将权重变化矩阵视作空间域中的矩阵，并只学习其频谱域中的稀疏系数。通过这些训练得到的频谱系数，结合逆离散傅立叶变换（Inverse Discrete Fourier Transform，简称IDFT），恢复权重变化矩阵。
这项工作之所以引人注目，是因为它在多个任务上展示了与LoRA相当或更优的性能，同时大幅减少了可训练参数的数量。例如，在对LLaMA2-7B模型进行指令微调时，FourierFT仅使用了0.064M的可训练参数，而LoRA则需要33.5M。这种参数效率的显著提升，不仅减轻了存储和内存的负担，也为移动设备等资源受限环境中的应用提供了可能。
为了验证FourierFT的有效性，研究团队在自然语言处理（NLP）和计算机视觉（CV）领域内的多个任务上进行了广泛的实验。这些任务包括自然语言理解（GLUE基准测试）、自然语言生成（E2E基准测试）、指令微调和图像分类（使用视觉变换器）。实验结果表明，FourierFT在这些任务上均能实现与LoRA相当或更优的性能，同时显著减少了所需的可训练参数。
在自然语言理解任务中，FourierFT在GLUE基准测试的六个数据集上均展现出了优异的性能。在自然语言生成任务中，FourierFT在E2E基准测试中的表现也令人印象深刻。在指令微调任务中，即使是在参数数量远低于LoRA的情况下，FourierFT也能够与LoRA的性能相媲美。在图像分类任务中，FourierFT同样证明了其有效性，它在多个图像分类数据集上的表现与LoRA相当，甚至在某些情况下还略有超越。
肯定的是，FourierFT在减少训练参数数量方面取得了显著的成果，这对于需要大量计算资源的深度学习模型来说是一个巨大的进步。它的提出，不仅为大型基础模型的微调提供了一种更为高效的选择，也为资源受限的设备上部署这些模型提供了可能性。此外，FourierFT的提出也是对现有微调方法的一种有益补充，它展示了在保持或提升模型性能的同时，如何通过技术创新来优化模型的存储和计算需求。
然而，任何新技术的提出都不是完美无缺的。FourierFT虽然在减少参数数量上表现出色，但在实际应用中可能还会遇到一些挑战。例如，FourierFT的性能在不同类型的任务和模型上可能会有差异，这需要进一步的研究来探索其适用性和局限性。此外，作为一种新兴的技术，FourierFT还需要在更多的任务和数据集上进行测试，以验证其泛化能力和稳定性。
