DeepMind新论文:3D环境中教AI学人话,还要用形式语言指挥它们

简介:
本文来自AI新媒体量子位(QbitAI)

最近,DeepMind发了两篇论文,一篇是关于教AI学语言的Grounded Language Learning in a Simulated 3D World,另一篇,是关于用形式语言指挥AI智能体行动的Programmable Agents

我们先说说AI学语言这件事。

想想我们每天的生活,AI帮我们做了越来越多的决定,小到看哪些新闻,大到该买什么股票。甚至有时候,还会让AI直接替我们采取行动。

不过,这也带来了一个越来越紧迫的需求:用人话和AI沟通,指挥和引导它们。

也就是说,得让AI真的懂人话。

什么是真的懂呢?简单来说,就是让agent能把语言和它的行为、所处的世界关联起来。

DeepMind在论文摘要中用两个词来形容他们想让agent学语言学到什么程度:

grounded,也就是有基础、接地气,能把语言中的词和agent在环境中直接遇到的物品、经历的行为联系起来;

embodied,也就是能具体表达出来的。

但是,让AI学会接地气的语言很难。

DeepMind这篇论文描述了一个新方法:把agent放在一个虚拟3D环境中,如果它成功地正确执行了用人类语言写成的指令,就给奖励。

他们就是这样,用强化学习和无监督学习相结合,对agent进行训练,让它学习理解人类语言。

640?wx_fmt=png&wxfrom=5&wx_lazy=1

上图是DeepMind论文中所举的例子:一开始agent处于位置1,收到“把绿色物体旁边的红色物体捡起来”的指令,于是它把两个“房间”逛了一遍,去查看房间里的物体及其相对位置,找到了需要捡起来的物体。

这种探索、选择的行为,并没有预先编程,完全是借助激励机制学会的。

这样的探索训练有数十万种变体,agent会遇到不同的房间布局、不同的物体摆放位置等等。

在训练过程中,agent几乎没有先验知识,只是通过将语言符号和它周围物理环境中出现的感知表征和行为序列关联起来,来学习语言。

也正因为agent理解语言不依赖先前的经验,如果研究人员把agent放到一个完全陌生的环境中,用它学过的语言向它发出新的指令,这个agent一样能完成。

DeepMind的研究人员还发现,随着语义知识的积累,agent学习新词的速度越来越快。

他们认为,这种泛化和自我扩展语义知识的能力,说明他们现在所用的方法有潜力让AI agent理解模糊的自然语言与复杂的实体世界之间的关联。

640?wx_fmt=png&wxfrom=5&wx_lazy=1

关于具体的训练过程和原理,请移步论文:

Grounded Language Learning in a Simulated 3D World
https://arxiv.org/pdf/1706.06551.pdf
作者:Karl Moritz Hermann, Felix Hill, Simon Green, Fumin Wang, Ryan Faulkner, Hubert Soyer, David Szepesvari, Wojtek Czarnecki, Max Jaderberg, Denis Teplyashin, Marcus Wainwright, Chris Apps, Demis Hassabis, Phil Blunsom

上文提到的训练方法,是在一个3D虚拟环境中,让agent执行人类语言写成的指令。

在DeepMind另一批研究员同日发到Axriv的另一篇论文中,agent执行的是用简单的形式语言写成的指令,不过,这项研究让agent遇到从未见过的物体,也能灵活应对。

这篇论文的题目是:Programmable Agents。经验告诉我们,无论是新闻还是论文,标题越短事儿越大……当然,在AI研究领域,这个规则最近越来越受到怀疑。

我们先来看看这篇论文想让AI做什么。

简单来说,是让agent执行用形式语言表达的描述性程序。

在这项研究中,研究人员所设定的环境是一张大桌子,中间有一支带有6个关节的机械臂,周围有特定数量的积木块,出现在随机位置。

他们所做的,是让虚拟环境中的“机械臂”去够特定颜色、形状的积木,也就是把手(机械臂前端的白色部分),伸到目标积木块的附近。

而前面提到的“形式语言描述性程序”,是这样执行的:NEAR(HAND, AND(RED, CUBE)),表示把手伸到红色立方体附近。

形式语言中指定的,是目标的颜色和形状。在具体的程序中,桌面的大小、目标的数量也可能发生变化。

640?wx_fmt=png&wxfrom=5&wx_lazy=1

在上图中,最左边一幅的“伸向蓝色球形”是训练环节,其他三幅展示了agent经过这种训练之后的泛化能力,包括目标性质的变化(左二:伸向红色积木)、环境中物体数量的变化(右二:伸向绿色球体,注意这里桌上多了好多积木)、以及新目标性质的出现(右一:伸向新的红色积木)。

DeepMind的这组研究人员称,他们训练的agent学会了根据这种语言的指令在所处环境中找到目标之后,在测试中可以对这种能力进行泛化,执行新的程序,找到在训练中从未提及的目标。他们的agent可以泛化到大范围的zero-shot语义任务。

640?wx_fmt=png&wxfrom=5&wx_lazy=1

具体的训练过程和原理,还是请移步论文:

Programmable Agents
https://arxiv.org/pdf/1706.06383.pdf
Misha Denil, Sergio Gómez Colmenarejo, Serkan Cabi, David Saxton, Nando de Freitas

【完】

本文作者:李林
原文发布时间:2017-06-23
相关文章
|
7天前
|
人工智能 自然语言处理 文字识别
DeepMind首发游戏AI智能体SIMA:开启虚拟世界的智能探索之旅
【4月更文挑战第3天】DeepMind推出了SIMA,一种能在多个3D环境中执行语言指令的智能体,标志着AI在理解和互动虚拟世界上的进步。SIMA通过多样化的训练数据学习导航、操作、决策等技能,并结合预训练模型处理高维度输入输出。尽管在复杂任务上仍有提升空间,SIMA展现了正向迁移能力和潜力,为AI研究和未来机器人技术铺平道路。然而,仍需解决鲁棒性、可控性、评估方法及道德安全问题。
37 4
DeepMind首发游戏AI智能体SIMA:开启虚拟世界的智能探索之旅
|
7天前
|
机器学习/深度学习 人工智能 安全
ai集成环境
【4月更文挑战第27天】ai集成环境
27 1
|
1天前
|
机器学习/深度学习 人工智能 数据挖掘
ICLR 49.9%论文疑有AI审稿
【5月更文挑战第20天】ICLR会议上一篇研究引发关注,推测近50%的论文可能由AI进行审稿,挑战传统审稿流程。研究者运用机器学习分析历史审稿数据,发现可能的AI审稿模式。该研究提出AI审稿可减轻审稿人负担,提高效率,但也面临证据不足、理解复杂学术概念限制及审稿行为多样性等问题。学术界需谨慎评估AI在审稿中的角色,以确保质量和公正性。[论文链接](https://arxiv.org/abs/2405.02150)
8 1
|
5天前
|
人工智能
AI大咖说-如何评价论文的创新性
《AI大咖说》探讨论文创新性,强调新意、有效性和领域研究问题的重要性。创新点在于用新颖方法有效解决研究问题。评价公式:价值=问题大小*有效性*新意度。该观点源于《跟李沐学AI》视频,提供1-100分评分标准,助力评估论文价值。5月更文挑战第14天
19 3
|
6天前
|
机器学习/深度学习 人工智能 算法
AI大咖说-如何有效的读论文
# AI大咖李沐教你高效读论文 李沐,亚马逊资深首席科学家,MXNet框架作者,推荐其在B站的“跟李沐学AI”。他建议读论文分三步:粗读(标题、摘要、结论)、快速浏览(整体理解)和精读(深入细节)。通过这三遍阅读,判断论文是否相关,理解解决问题的方法和实验。5月更文挑战第13天
15 0
|
7天前
|
机器学习/深度学习 人工智能
论文介绍:AI击败最先进全球洪水预警系统,提前7天预测河流洪水
【5月更文挑战第4天】研究人员开发的AI模型(基于LSTM网络)成功击败全球最先进的洪水预警系统,能在未设测站流域提前7天预测洪水,显著提升预警时间,降低灾害影响。该模型使用公开数据集,减少了对长期观测数据的依赖,降低了预警系统的成本,有望帮助资源有限的地区。然而,模型的性能可能受特定流域条件影响,泛化能力和预测解释性仍有待改进。[论文链接](https://www.nature.com/articles/s41586-024-07145-1)
27 11
|
7天前
|
数据采集 人工智能 Python
【AI大模型应用开发】【LangChain系列】8. 重要组件介绍:如何运用LangChain表达式语言LCEL中的RunnableParallel和RunnablePassthrough?
【AI大模型应用开发】【LangChain系列】8. 重要组件介绍:如何运用LangChain表达式语言LCEL中的RunnableParallel和RunnablePassthrough?
41 0
|
7天前
|
人工智能 API 决策智能
【AI Agent系列】【MetaGPT多智能体学习】0. 环境准备 - 升级MetaGPT 0.7.2版本及遇到的坑
【AI Agent系列】【MetaGPT多智能体学习】0. 环境准备 - 升级MetaGPT 0.7.2版本及遇到的坑
29 0
|
7天前
|
数据采集 人工智能 数据挖掘
【AI大模型应用开发】【附】常用Prompt记录 - 论文全文写作
【AI大模型应用开发】【附】常用Prompt记录 - 论文全文写作
36 0
【AI大模型应用开发】【附】常用Prompt记录 - 论文全文写作
|
7天前
|
人工智能 前端开发 Java
Java语言开发的AI智慧导诊系统源码springboot+redis 3D互联网智导诊系统源码
智慧导诊解决盲目就诊问题,减轻分诊工作压力。降低挂错号比例,优化就诊流程,有效提高线上线下医疗机构接诊效率。可通过人体画像选择症状部位,了解对应病症信息和推荐就医科室。
217 10

热门文章

最新文章