近年来，神经网络的发展日新月异，尤其是以MLP（多层感知器）和Transformer为代表的模型，在各种任务中取得了显著的成功。然而，这些模型在处理周期性特征时却暴露出潜在的缺陷。它们往往倾向于记忆周期性数据，而不是真正理解其背后的原理。
周期性是自然界和工程系统中普遍存在的重要特性，它通过重复的模式为预测提供了基础。然而，现有的神经网络在建模和推理周期性方面存在困难。为了解决这一问题，北京大学的研究人员提出了一种名为傅里叶分析网络（FAN）的新型网络架构。
FAN基于傅里叶分析，能够有效地建模和推理周期性现象。通过引入傅里叶级数，FAN将周期性自然地融入到网络结构和计算过程中，从而实现了对周期性模式的更准确表达和预测。
与MLP相比，FAN具有以下优势：
- 更少的参数和计算量：FAN可以无缝替代MLP，并在各种模型中使用更少的参数和FLOPs（浮点运算次数）。这不仅提高了计算效率，还减少了模型的复杂性。
- 更好的周期性建模能力：FAN通过显式地编码周期性模式，能够更好地理解和建模数据中的周期性特征。这在处理周期性数据时具有重要意义。
- 更广泛的应用范围：FAN不仅在周期性建模方面表现出色，还在各种实际任务中展现出优越的性能，如符号公式表示、时间序列预测和语言建模等。
为了验证FAN的有效性，研究人员进行了广泛的实验，包括周期性建模和实际任务应用两个方面。
在周期性建模任务中，FAN与MLP、KAN（另一种新兴模型）和Transformer进行了比较。实验结果表明，FAN在所有任务中都显著优于其他模型，特别是在处理超出训练数据范围的测试数据时。这表明FAN能够真正理解周期性特征，而不仅仅是记忆训练数据。
在实际任务应用中，FAN在符号公式表示、时间序列预测和语言建模等任务中都表现出了优越的性能。
- 符号公式表示：FAN在表示各种数学和物理函数时，比MLP、KAN和Transformer等模型表现得更好，尤其是在参数数量增加时。这表明FAN不仅能够建模周期性特征，还能够处理非周期性函数。
- 时间序列预测：FAN与Transformer结合使用时，在四个公开数据集上都取得了最佳性能，包括天气、汇率、交通和能源消耗等数据集。这表明FAN能够提高时间序列预测的准确性。
- 语言建模：FAN与Transformer结合使用时，在四个情感分析数据集上都取得了最佳性能，包括SST-2、IMDB、Sentiment140和Amazon Reviews等数据集。这表明FAN能够提高语言建模的准确性和泛化能力。
在相关工作中，研究人员回顾了使用神经网络学习周期性和基于傅里叶的神经网络的研究。他们指出，虽然之前的工作已经尝试将周期性信息融入神经网络，但它们的实际性能和应用范围仍然受到限制。FAN通过重新设计网络架构，解决了这些问题，并表现出了更好的性能。
在讨论中，研究人员强调了FAN的表达能力和应用范围。他们指出，FAN理论上具有与MLP相同的表达能力，并引入了对周期性特征的显式建模。这不仅保留了MLP的能力，还增强了其对周期性数据的理解。此外，FAN还在各种实际任务中表现出了优越的性能，这表明它具有广泛的应用潜力。
