对大脑来说反向传播是不可能的
在反向传播算法出现的好几十年，关于大脑如何学习的理论主要受「赫布理论」（1949）影响，通常被解释为「共同激发的神经元之间存在连接」，即相邻神经元的活动越相关，它们之间的突触联系就越强。
这一理论经过一些修改后，成功解释了某些类型的学习和分类任务。 虽然赫布理论在使用错误信息时，是一种的非常狭窄、特殊且不敏感的方法，但对神经学家来说，它仍然是最好的学习规则，20世纪50年代后期，它甚至激发了第一个人工神经网络的发展。 这些网络中的每个人工神经元接收多个输入并产生一个输出，和真实的神经元一样。人工神经元用一个所谓的「突触」权重(一个表示该输入重要性的数字)，对输入进行加权求和。 到了20世纪60年代，这些神经元可以被组织成一个有输入层和输出层的网络，「人工神经网络」可以被训练来解决某些简单的问题。
在训练过程中，神经网络为其神经元确定最佳权值，以降低误差。 然而直到1986年以前，没有人知道如何有效地训练带有「隐藏层」的人工神经网络，直到Hinton发表了「反向传播算法」相关论文。
反向传播的发明立即引起了一些神经科学家的强烈抗议，他们认为这种方法不可能在真正的大脑中起作用。 首先，虽然计算机可以很容易地在两个阶段实现该算法，但是对于生物神经网络来说，这样做并不简单。
其次，是计算神经科学家所说的权重传递问题: 反向传播算法复制或「传输」关于推理所涉及的所有突触权重的信息，并更新这些权重以获得更高的准确性。 但是在生物网络中，神经元只能看到其他神经元的输出，而不能看到影响输出的突触权重或内部过程。
从神经元的角度来看，「知道自己的突触权重是可以的，你不能知道其他神经元的突触权重。」
任何生物学上似乎可行的学习规则也需要遵守神经元只能从相邻神经元获取信息的限制; 反向传播可能需要从更远的神经元获取信息。
因此，「如果你反向传播信号，大脑似乎不可能计算。」
胶囊网络
2017年，深度学习三巨头之一的Geoffrey Hinton，发表了两篇论文解释「胶囊网络（Capsule Networks）」。
在当时，这是一种全新的神经网络，它基于一种新的结构——胶囊，在图像分类上取得了更优越的性能，解决了CNN的某些缺陷，例如无法理解图片和语义关系、没有空间分层和空间推理的能力等。
在CNN中，左右两幅图都可被网络识别为人脸
甚至，Hinton自己也公开表示过，他要证明为何卷积神经网络完全是「垃圾」，应该以自己的胶囊网络代替。过去三年中，他每年都会推出一个新版本的胶囊网络。 今年2月，Hinton发表了一篇新论文：如何在神经网络中表示部分-整体层次结构？（How to represent part-whole hierarchies in a neural network）
本论文中，他提出了一个叫做GLOM的架构，可以在神经网络中使用胶囊来表示视觉的层次结构，即部分-整体的关系。
GLOM通过提出island的概念来表示解析树的节点。GLOM可以显著提升transformer类的模型的可解释性。可以显著提升transformer类的模型的可解释性。
作为深度学习的大大牛，Hinton提出了反向传播（BP），随后又一直在否定自己的工作，提出了「胶囊网络」还有其他工作来增加生物学上的解释，对于揭开大脑构造和神经网络之谜，他的思考从未停止。
