本文来自AI新媒体量子位(QbitAI)
训练神经网络不是一件易事。
就算不考虑实现的难度,不计较计算力的使用,一切顺利的话可能也得几个小时才能搞定。所以OpenAI的研究人员最近发布了一个新思路。
他们制定了一个进化策略(别误会,这与生物进化关系不大),使用“黑箱”而不是通常的强化训练(通常基于梯度)。所谓“黑箱”,就是不管什么环境和神经网络,系统从许多随机参数开始,尝试然后继续尝试,最后找打理想的结果。
整个设置就是一大堆数字输入,然后输出一个数字,执果索因在上百万的数字里找到最好的配置。这是一个“猜测然后检测”的过程。
Andrej Karpathy参与的这项OpenAI论文声称:“黑箱”进化算法,可以与强化学习方法媲美,耗时更少而且代码简单。
对这个理论感兴趣的同学,请前往:https://arxiv.org/abs/1703.03864,以及:https://github.com/openai/evolution-strategies-starter 。
不过,这个理论遭遇Yann LeCun(杨立昆)的正面硬刚,LeCun大神说:
1、基于梯度的优化,远比黑箱优化更有效率
2、黑箱优化应该是最后的办法,无法基于梯度优化时才用
3、对于知道强化学习和黑箱优化的人来说,OpenAI这篇东西没什么用
截图为证,大家自行体会吧:
本文作者:若朴
原文发布时间: 2017-03-27