LeCun正面硬刚OpenAI黑箱优化论:最后没招了才干这个

简介:
本文来自AI新媒体量子位(QbitAI)

训练神经网络不是一件易事。

就算不考虑实现的难度,不计较计算力的使用,一切顺利的话可能也得几个小时才能搞定。所以OpenAI的研究人员最近发布了一个新思路。

他们制定了一个进化策略(别误会,这与生物进化关系不大),使用“黑箱”而不是通常的强化训练(通常基于梯度)。所谓“黑箱”,就是不管什么环境和神经网络,系统从许多随机参数开始,尝试然后继续尝试,最后找打理想的结果。

整个设置就是一大堆数字输入,然后输出一个数字,执果索因在上百万的数字里找到最好的配置。这是一个“猜测然后检测”的过程。

Andrej Karpathy参与的这项OpenAI论文声称:“黑箱”进化算法,可以与强化学习方法媲美,耗时更少而且代码简单。

对这个理论感兴趣的同学,请前往:https://arxiv.org/abs/1703.03864,以及:https://github.com/openai/evolution-strategies-starter 。

不过,这个理论遭遇Yann LeCun(杨立昆)的正面硬刚,LeCun大神说:

1、基于梯度的优化,远比黑箱优化更有效率

2、黑箱优化应该是最后的办法,无法基于梯度优化时才用

3、对于知道强化学习和黑箱优化的人来说,OpenAI这篇东西没什么用

截图为证,大家自行体会吧:

640?wx_fmt=png&wxfrom=5&wx_lazy=1

本文作者:若朴 
原文发布时间: 2017-03-27
相关文章
|
3月前
|
人工智能 JSON 机器人
[译][AI OpenAI-doc] 延迟优化
本指南涵盖了一系列核心原则,您可以应用这些原则来改善在各种LLM相关用例中的延迟。这些技术来自于与广泛的客户和开发人员在生产应用程序上的合作,因此无论您正在构建什么——从细粒度的工作流程到端到端的聊天机器人,都应该适用!
[译][AI OpenAI-doc] 延迟优化
|
3月前
|
人工智能 API Python
【AI大模型应用开发】1.1 Prompt Engineering(提示词工程)- 用OpenAI API实战,优化方法论总结
【AI大模型应用开发】1.1 Prompt Engineering(提示词工程)- 用OpenAI API实战,优化方法论总结
174 0
|
机器学习/深度学习 算法 机器人
|
3月前
|
人工智能 安全 UED
[AI OpenAI] 新闻编辑室AI催化剂:与WAN-IFRA的全球项目
OpenAI与WAN-IFRA合作推出新闻编辑室AI催化剂,这是一个全球加速器项目,旨在帮助100多家新闻出版商在其编辑室中集成AI,以增强内容创建、效率和用户体验。
[AI OpenAI] 新闻编辑室AI催化剂:与WAN-IFRA的全球项目
|
3月前
|
人工智能 搜索推荐 Java
[AI OpenAI] MavenAGI推出由OpenAI驱动的自动化客户支持代理
MavenAGI推出了一款由GPT-4驱动的AI客户服务代理,为Tripadvisor和HubSpot等公司提高了效率并降低了成本。
[AI OpenAI] MavenAGI推出由OpenAI驱动的自动化客户支持代理
|
2天前
|
人工智能 安全 机器人
OpenAI发布Model Spec,揭示其期望AI如何行动
OpenAI发布Model Spec,揭示其期望AI如何行动
OpenAI发布Model Spec,揭示其期望AI如何行动
|
1月前
|
存储 SQL 人工智能
|
2月前
|
机器学习/深度学习 人工智能 监控
[AI OpenAI] 提取GPT-4中的概念
研究人员采用新的可扩展方法,将GPT-4的内部表示分解为1600万个通常可解释的模式,这些模式被称为“特征”,目的是提高语言模型的透明度和可解释性。
[AI OpenAI] 提取GPT-4中的概念
|
2月前
|
存储 人工智能 Kubernetes
[AI OpenAI] 保护前沿AI研究基础设施的安全
概述支持OpenAI前沿AI模型安全训练的架构。
[AI OpenAI] 保护前沿AI研究基础设施的安全

热门文章

最新文章