LeCun正面硬刚OpenAI黑箱优化论:最后没招了才干这个

简介:
本文来自AI新媒体量子位(QbitAI)

训练神经网络不是一件易事。

就算不考虑实现的难度,不计较计算力的使用,一切顺利的话可能也得几个小时才能搞定。所以OpenAI的研究人员最近发布了一个新思路。

他们制定了一个进化策略(别误会,这与生物进化关系不大),使用“黑箱”而不是通常的强化训练(通常基于梯度)。所谓“黑箱”,就是不管什么环境和神经网络,系统从许多随机参数开始,尝试然后继续尝试,最后找打理想的结果。

整个设置就是一大堆数字输入,然后输出一个数字,执果索因在上百万的数字里找到最好的配置。这是一个“猜测然后检测”的过程。

Andrej Karpathy参与的这项OpenAI论文声称:“黑箱”进化算法,可以与强化学习方法媲美,耗时更少而且代码简单。

对这个理论感兴趣的同学,请前往:https://arxiv.org/abs/1703.03864,以及:https://github.com/openai/evolution-strategies-starter 。

不过,这个理论遭遇Yann LeCun(杨立昆)的正面硬刚,LeCun大神说:

1、基于梯度的优化,远比黑箱优化更有效率

2、黑箱优化应该是最后的办法,无法基于梯度优化时才用

3、对于知道强化学习和黑箱优化的人来说,OpenAI这篇东西没什么用

截图为证,大家自行体会吧:

本文作者:若朴 
原文发布时间: 2017-03-27
相关文章
|
人工智能 JSON 机器人
[译][AI OpenAI-doc] 延迟优化
本指南涵盖了一系列核心原则,您可以应用这些原则来改善在各种LLM相关用例中的延迟。这些技术来自于与广泛的客户和开发人员在生产应用程序上的合作,因此无论您正在构建什么——从细粒度的工作流程到端到端的聊天机器人,都应该适用!
[译][AI OpenAI-doc] 延迟优化
|
人工智能 API Python
【AI大模型应用开发】1.1 Prompt Engineering(提示词工程)- 用OpenAI API实战,优化方法论总结
【AI大模型应用开发】1.1 Prompt Engineering(提示词工程)- 用OpenAI API实战,优化方法论总结
889 0
|
机器学习/深度学习 算法 机器人
|
机器学习/深度学习 人工智能 并行计算
"震撼!CLIP模型:OpenAI的跨模态奇迹,让图像与文字共舞,解锁AI理解新纪元!"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型,通过对比学习方法预训练,能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成,分别处理图像和文本数据,通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练,能够实现zero-shot图像分类、文本-图像检索等多种任务,展现出强大的跨模态理解能力。
1262 2
|
11月前
|
Go 开发工具
百炼-千问模型通过openai接口构建assistant 等 go语言
由于阿里百炼平台通义千问大模型没有完善的go语言兼容openapi示例,并且官方答复assistant是不兼容openapi sdk的。 实际使用中发现是能够支持的,所以自己写了一个demo test示例,给大家做一个参考。
|
8月前
|
机器学习/深度学习 人工智能 开发者
GPT-4o-mini-transcribe:OpenAI 推出实时语音秒转文本模型!高性价比每分钟0.003美元
GPT-4o-mini-transcribe 是 OpenAI 推出的语音转文本模型,基于 GPT-4o-mini 架构,采用知识蒸馏技术,适合在资源受限的设备上运行,具有高效、实时和高性价比的特点。
430 2
GPT-4o-mini-transcribe:OpenAI 推出实时语音秒转文本模型!高性价比每分钟0.003美元
|
8月前
|
人工智能 自然语言处理 语音技术
GPT-4o mini TTS:OpenAI 推出轻量级文本转语音模型!情感操控+白菜价冲击配音圈
GPT-4o mini TTS 是 OpenAI 推出的轻量级文本转语音模型,支持多语言、多情感控制,适用于智能客服、教育学习、智能助手等多种场景。
448 2
GPT-4o mini TTS:OpenAI 推出轻量级文本转语音模型!情感操控+白菜价冲击配音圈
|
9月前
|
机器学习/深度学习 人工智能 算法
o3-mini:OpenAI 发布最新推理模型,强大的STEM推理能力,灵活调整推理强度
OpenAI o3-mini是OpenAI推出的全新推理模型,专为科学、数学和编程等技术领域优化,支持三种推理强度,灵活调整性能。
529 25
o3-mini:OpenAI 发布最新推理模型,强大的STEM推理能力,灵活调整推理强度
|
8月前
|
机器学习/深度学习 人工智能 API
GPT-4o-Transcribe:OpenAI 推出高性能语音转文本模型!错误率暴降90%+方言通杀,Whisper当场退役
GPT-4o-Transcribe 是 OpenAI 推出的高性能语音转文本模型,支持多语言和方言,适用于复杂场景如呼叫中心和会议记录,定价为每分钟 0.006 美元。
417 2

热门文章

最新文章