近年来，深度学习领域涌现出了许多新的网络结构，其中KAN（Kolmogorov-Arnold Networks）作为一种创新的替代方案，备受关注。然而，最近一篇论文通过更全面、更公平的比较，揭示了KAN与MLP（Multi-Layer Perceptrons）之间的真实性能差异。
这篇论文并没有引入新的模型，而是对KAN和MLP进行了更全面的比较。实验涵盖了机器学习、计算机视觉、音频处理、自然语言处理和符号公式表示等多个任务领域。为了确保比较的公平性，论文控制了参数数量和FLOPs（浮点运算次数），以比较KAN和MLP的性能。
结果显示，除了符号公式表示任务外，MLP在大多数任务中都表现出了更好的性能。具体来说，在机器学习、计算机视觉、自然语言处理和音频处理等任务中，MLP的准确率普遍高于KAN。而在符号公式表示任务中，KAN虽然表现出了一定的优势，但这种优势主要源于其B-spline激活函数。当MLP也采用B-spline激活函数时，其性能能够与KAN相媲美甚至超越。
此外，论文还对KAN进行了消融实验，以探究其性能优势的来源。结果发现，KAN在符号公式表示任务中的优势主要来自于其B-spline激活函数的学习能力。然而，在其他任务中，B-spline激活函数并没有显著提升MLP的性能。
更有趣的是，论文还发现，在标准的类增量连续学习设置下，KAN的遗忘问题比MLP更严重。这与KAN论文中的发现相矛盾，因为KAN论文声称KAN在连续学习任务中具有更好的性能。
然而，这篇论文也存在一些局限性。首先，实验结果可能受到具体实现和超参数选择的影响，因此需要进一步的验证和比较。其次，论文只关注了KAN和MLP的性能差异，而没有深入探讨其他可能的影响因素，如模型的可解释性和泛化能力。
尽管如此，这篇论文仍然为我们提供了一个有价值的视角，让我们对KAN和MLP的性能有了更全面的认识。它提醒我们，在选择深度学习模型时，不能仅仅关注模型的创新性和理论优势，还需要进行全面的实验验证和比较。
