在过去的70年里，人工智能（AI）领域的发展历程中，有一个重要的经验教训被反复验证，那就是通用的、能够利用计算的方法，最终会成为最有效的方法。这一观点的主要支持者是加拿大多伦多大学的计算机科学家理查德·萨顿（Rich Sutton），他在2019年的一篇论文中详细阐述了这一观点。
萨顿的观点基于两个关键因素。首先，他指出摩尔定律的普遍化，即单位计算成本的持续指数下降。这意味着，随着时间的推移，研究人员将能够获得更多的计算资源，这使得依赖于大量计算的方法更具吸引力。其次，萨顿认为，在短期内，研究人员可能会寻求利用他们的领域知识来改进系统，但从长远来看，唯一重要的是利用计算的能力。
萨顿的观点在人工智能领域的多个子领域中得到了验证。在计算机象棋领域，1997年击败世界冠军卡斯帕罗夫的系统是基于大规模的深度搜索。然而，当时大多数计算机象棋研究人员追求的方法是利用人类对象棋特殊结构的理解。当一个更简单的、基于搜索的方法证明比那些依赖于人类知识的方法更有效时，这些研究人员感到失望。
类似的情况也发生在计算机围棋领域，只是时间上晚了20年。最初，研究人员投入了大量的努力来避免搜索，而是利用人类知识或游戏的特殊特征。然而，一旦搜索被有效地应用于大规模，所有这些努力都被证明是无关紧要的，甚至是有害的。
在语音识别领域，也出现了类似的发展模式。在20世纪70年代的一场由DARPA赞助的早期竞赛中，参赛者包括许多利用人类知识的特殊方法。然而，基于隐马尔可夫模型（HMMs）的更统计性的方法最终胜出，并导致了自然语言处理领域的重大变革。
在计算机视觉领域，也出现了类似的情况。早期的方法将视觉视为寻找边缘、一般化圆柱体或SIFT特征的过程。然而，现代的深度学习神经网络只使用卷积和某些类型的不变性的概念，并取得了更好的性能。
萨顿的观点强调了通用方法的力量，这些方法能够随着可用计算的增加而继续扩展，即使可用的计算变得非常大。他认为，能够以这种方式无限扩展的两个方法是搜索和学习。
然而，萨顿的观点也受到了一些批评。一些人认为，他过于强调计算的重要性，而忽视了领域知识的价值。他们认为，在某些情况下，利用领域知识可以导致更有效的解决方案，而不仅仅是依赖于计算能力。
此外，一些人还指出，萨顿的观点可能低估了人工智能领域中其他因素的重要性，如数据质量、算法设计和系统架构等。他们认为，虽然计算能力是重要的，但它并不是唯一重要的因素。
原文地址：https://www.cs.utexas.edu/~eunsol/courses/data/bitter_lesson.pdf
