Hinton刚刚在Twitter上开了一个小讨论: 人们反对在设计神经网络时从大脑获取灵感,就像在设计飞行器时从羽毛中获取灵感一样。
△ 「通常,在设计神经网络时,很多人反对从大脑汲取灵感,这就像从羽毛构造中汲取灵感设计飞行器一样。无人机需要的桨叶是不会对撞到的东西造成损坏,还可以通过快速的预处理轻松修复。」
所以,神经网络的设计到底能不能借鉴人类大脑构造?
「能」或「不能」,这是一个问题
前排网友激动讨论:太对了。飞机的设计灵感就来自鸟。大自然向我们展示了如何飞行。AI也是一样。神经网络仍处于不断发展当中,无论何时,只要出现了任何难倒人类但已经被大自然解决的问题,我们都没有理由不去研究大自然的解法,除非我们疯了。
也有网友表示:的确,人类不能像鸟类和昆虫那样以惊人的灵活性(滑行、加速、停止、高效率)「飞行」。对大脑来说,什么是 「飞行」?预测吗?也许吧。神经网络不能像大脑那样执行许多任务。我认为这很有启发性。
也有网友认为:对于分类问题,BP(反向传播)可以被看作是带有特征工程(Feature engineering)的LR(逻辑回归)。
△ 为什么关心这个问题?事情是这样的,在数学中也是如此,你使用一些工具来得到一个或一些想要的结果,如果你运气好的话,过一段时间,你就会明白为什么这些工具真的帮助了你。对于分类问题,BP可以被看作是带有特征工程(Feature engineering)的LR.
还有网友表示:自我保护和自我维持的设计还没有纳入机器的考虑范围。
△ 大脑和鸟类出于生存的需要,进化出了自我修复的能力。无人机和它们撞到的东西被看作是人造的和可替换的。自我保护和自我维持的设计还没有纳入机器的考虑范围。
甚至有网友质疑是否可以将大脑-神经网络与鸟类-羽毛进行对比:
△ 我们必须确定神经网络和大脑之间的关系是否可与羽毛和鸟类(或桨叶和无人机)之间的关系相提并论......不确定是否如此。
也有网友搬出了《大英百科全书》的解释:
羽毛的进化早于鸟类,甚至早于鸟类飞行。因此,早期的羽毛具有保温功能,(......),但不具有空气动力学和飞行功能。(......)羽毛不再被认为是鸟类的独特和诊断性特征。