1.1 引言
神经网络是实现人工智能的重要途径之一。近年来,深度神经网络在语音识别、图像理解、自然语言处理、智能博弈、智能医疗等领域内的大数据问题上取得一系列重大突破,引起了人们对神经网络的极大兴趣,并引领人工智能蓬勃向前发展。反向传播(backpropagation,BP)算法是深度神经网络最基本的算法之一,对深度神经网络的发展起着十分重要的作用,已成为深度神经网络理论的一个无可厚非的基石。
BP算法的关键是反向计算敏感性,通过巧妙利用数学分析中求偏导数的链式法则,将敏感性反向传播,在数学上是一个十分漂亮的算法。我在多年对神经网络的教学过程中发现,对初学者而言,要快速掌握BP算法还是有一定难度的。主要体现在初学者难以快速理解并记住算法的数学公式。为了便于理解和快速掌握BP算法,我引入了“虚拟神经元”的概念,将BP算法归于一张简单的图,并配以相关数学推导和解释。通过这样一种方式的学习,学生们大都很快掌握了BP算法。
本文将给出理解BP算法的这样一张图,以期对初学者有所裨益。