李飞飞团队最新跨界研究:神经任务编程NTP,让机器人具有强大泛化能力

简介: 任务是按指定要求堆叠字母块,顶层程序作为输入参与整个演示,预测下一个运行的子程序,并为特定输入作为指定任务的一部分

9月26日,在温哥华举行的IROS大会上,计算机视觉专家、斯坦福AI Lab&Vision Lab主任李飞飞做了“A Quest for Visual Intelligence”的演讲,这也是李飞飞首次参加IROS这一机器人为主题的大会。值得注意的是,近日雷锋网在Arxiv发现了一篇讲述新型机器人学习框架的论文《Neural Task Programming: Learning to Generalize Across Hierarchical Tasks》,该论文的主要作者来自于斯坦福,其指导教师正是李飞飞及其丈夫Silvio Savarese。这也标志着人工智能和机器人两个社区在视觉与感知方面的重合度越来越大,之后的合作也会越来越紧密。

下面雷锋网和大家来一起看这篇论文。

李飞飞团队最新跨界研究:神经任务编程NTP,让机器人具有强大泛化能力

摘要: 在本论文中,我们提出了一种名为神经任务编程(NTP)的新型机器人学习框架,该方法可以通过较少的示范和神经程序引导进行学习。NTP可将输入的规范性任务(例如任务的视频演示)递归地将其分解成更精细的子任务规范, 这些规范被传递到分级神经程序,通过可调用的底层子程序是与环境进行交互。同时,我们在三个机器人操纵任务中验证了我们的方法,在试验中,NTP展示了在显示分层结构和组合结构的顺序任务的强泛化能力化。 实验结果表明,NTP在学习长度不定、可变拓扑和不断变化的未知任务的学习和拓展有较好的效果。

背景

自越来越强调“人机协作”的今天,机器人通常在某些特定环境中与人进行长时间的交互,如物体分类、装配、和清理等。但是以往的机器人通常需要在固定的场景下才能与人交互,如何让机器人能适应复杂的操作任务、新的任务目标和周围环境,则是机器人技术中的一个重大挑战。

设想一个仓库中的物体分类任务,这通常包括分类、检索、打包等具体任务,每个任务又可以分解为若干个动作,如抓取、移动、放下等,这些动作构成了如抓取和放置等子任务,如果在考虑到不同的对象、排序、子任务的排列组合,当中的变化将会非常复杂,例如,将四类物品分类放到四个容器中,这当中的组合会有256中之多。本文中,我们希望解决复杂任务规划的两个主要挑战,即a)从新的概念化到新的任务目标的学习策略,以及b)与长期环境交互的基本原生代码模块的组合。


神经任务编程(NTP)原理

NTP的关键基本思想在是跨任务学习和与共享域中的可重用表示。NTP对一个描述任务过程和最终目标时间序列的任务规范进行解释,并将其分层策略实例转化为一个神经程序。NTP从输入规范中解码生成任务目标,并将其分解为子任务并与周边环境进行交互和反馈直至搭成目标,每个程序调用环境观察和任务规范(输入),并输出下一个子程序和相应的子任务规范。

李飞飞团队最新跨界研究:神经任务编程NTP,让机器人具有强大泛化能力

如上图所示,在给定输入、任务规范和当前环境的情况下,NTP模型预测需要运行什么样的子程序,并作为下一级子任务的输入,并判断当前程序是否结束,否则将继续循环执行任务 。

测试

该研究团队通过对模拟和实际机器人实验中的单臂操作任务模拟对NTP进行评估。任务包括:堆叠方块,目标分类和清理桌子。

李飞飞团队最新跨界研究:神经任务编程NTP,让机器人具有强大泛化能力

该研究的两个目标:I. 在同一个域中学习多项任务;以及 II. 通过单一例子形成在测试中的泛化能力。

李飞飞团队最新跨界研究:神经任务编程NTP,让机器人具有强大泛化能力

如图所示,机器手可从模拟的Demo环境(包括图像、视频、VR输入)中进行学习并完成积木的堆叠;

李飞飞团队最新跨界研究:神经任务编程NTP,让机器人具有强大泛化能力

NTP编程:通过分级的任务条件输出策略归纳程序,调用Robot API进行操作。

李飞飞团队最新跨界研究:神经任务编程NTP,让机器人具有强大泛化能力

上图展示了在堆叠方块任务中 NTP 的样本执行轨迹图。任务是按指定要求堆叠字母块,顶层程序作为输入参与整个演示,预测下一个运行的子程序,并为特定输入作为指定任务的一部分,底层 API 调用机器人作出相应的动作(如Move_to(Blue)、Grasp(Blue)等)。当程序结束符(EOP)为 True,当前程序停止并返回其调用程序。

李飞飞团队最新跨界研究:神经任务编程NTP,让机器人具有强大泛化能力

如果环境发生变化(如人为破坏已完成的任务),机器人会探测到环境的变化并重复任务。

李飞飞团队最新跨界研究:神经任务编程NTP,让机器人具有强大泛化能力

任务结构的变化包括:改变完成条件(任务语义),可变子任务排列(任务拓扑)和更大的任务量(任务的长度)。随着任务数量的增加,NTP可以为新的任务师范及目标生成更好的结果。

完整演示视频见:

  

类似的研究还有雷锋网之前介绍过的BAIR《One-Shot Visual Imitation Learning via Meta-Learning》的论文,都是通过一次性学习形成的泛化能力让机器人快速掌握新技能。相比之下,BAIR的论文更偏于算法的迭代改进,而Visual Lab的研究则从任务结构出发提出了一种新的学习框架。雷锋网(公众号:雷锋网)认为,虽然李飞飞团队之前的研究更多是在计算机视觉领域,但正是如此,才有可能从机器人领域研究者习惯的视角外去思考问题,这篇论文提出的新思路也值得机器人研究者注意。





本文作者:岑大师
本文转自雷锋网禁止二次转载, 原文链接
目录
相关文章
|
13天前
|
数据采集 人工智能 算法
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型,结合视觉预测与动作执行,显著提升机器人任务成功率。
59 20
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
|
1月前
|
传感器 人工智能 自然语言处理
RDT:清华开源全球最大的双臂机器人操作任务扩散基础模型、代码与训练集,基于模仿能力机器人能够自主完成复杂任务
RDT(Robotics Diffusion Transformer)是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量,能够在无需人类操控的情况下自主完成复杂任务,如调酒和遛狗。
126 22
RDT:清华开源全球最大的双臂机器人操作任务扩散基础模型、代码与训练集,基于模仿能力机器人能够自主完成复杂任务
|
20天前
|
人工智能 算法 自动驾驶
Jim Fan全华人团队HOVER问世,1.5M小模型让机器人获潜意识!
在机器人技术领域,人形机器人的全身控制一直极具挑战。传统方法为不同任务(如导航、移动操作等)单独训练控制策略,限制了策略的可转移性。Jim Fan团队提出HOVER框架,通过全身运动模仿作为共同抽象,整合多种控制模式,实现无缝过渡,显著提升控制效率和灵活性。HOVER不仅为人形机器人应用带来巨大潜力,也为机器人技术发展提供新思路。论文地址:https://arxiv.org/abs/2410.21229
53 23
|
27天前
|
传感器 算法 机器人
聚焦视听触感官协同配合的具身精细操纵,人大胡迪团队领衔探索机器人模态时变性挑战
中国人民大学胡迪团队提出MS-Bot方法,通过阶段性引导的动态多感官融合,使机器人能像人类一样灵活运用视觉、听觉和触觉完成复杂任务。实验表明,该方法提高了操作准确性和效率,但仍面临数据依赖、计算复杂度和泛化能力等挑战。论文链接:https://arxiv.org/abs/2408.01366v2
65 21
|
1月前
|
人工智能 自然语言处理 机器人
机器人迈向ChatGPT时刻!清华团队首次发现具身智能Scaling Laws
清华大学研究团队在机器人操作领域发现了数据规模定律,通过大规模数据训练,机器人策略的泛化性能显著提升。研究揭示了环境和对象多样性的重要性,提出了高效的數據收集策略,使机器人在新环境中成功率达到约90%。这一发现有望推动机器人技术的发展,实现更广泛的应用。
81 26
|
2月前
|
人工智能 机器人
朱玉可团队新作:看一眼就能模仿,大模型让机器人轻松学会撒盐
朱玉可团队来自UT Austin和NVIDIA Research,提出了一种名为OKAMI的新方法,通过模仿人类行为视频,使机器人能快速学会操作技能,如撒盐、放玩具等。OKAMI分为参考计划生成和对象感知重定位两阶段,显著提高了机器人的操作精度和适应能力,减少了传统方法所需的大量示范和训练时间。
30 3
|
2月前
|
数据采集 安全 算法
李飞飞数字表兄弟破解机器人训练难题!零样本sim2real成功率高达90%
李飞飞团队提出“数字表兄弟”(Digital Cousins)概念,通过自动化创建数字表兄弟(ACDC)方法,大幅提升了机器人在真实环境中的训练效果。该方法在零样本sim2real迁移实验中成功率达到90%,显著优于传统方法。
61 3
|
4月前
|
人工智能 自然语言处理 机器人
谷歌将大模型集成在实体机器人中,能看、听、说执行57种任务
【9月更文挑战第17天】近年来,人工智能在多模态大模型领域取得显著进展。谷歌最新研发的Mobility VLA系统,将大模型与实体机器人结合,实现了视觉、语言和行动的融合,使机器人能理解并执行复杂多模态指令,如“我应该把这个放回哪里?”系统在真实环境测试中表现出色,但在计算资源、数据需求及伦理问题上仍面临挑战。相关论文发布于https://arxiv.org/abs/2407.07775。
92 9
|
5月前
|
存储 人工智能 小程序
比赛须知【2024 年睿抗机器人开发者大赛CAIP-编程技能赛(国赛)】
该文章是关于2024年睿抗机器人开发者大赛CAIP-编程技能赛(国赛)的参赛通知,强调了比赛时间、阅读比赛须知的重要性,并列举了多项比赛期间禁止的行为以确保比赛的公平性。
 比赛须知【2024 年睿抗机器人开发者大赛CAIP-编程技能赛(国赛)】
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能】自然语言处理(NLP)的突破,关注NLP在机器翻译、情感分析、聊天机器人等方面的最新研究成果和应用案例。
自然语言处理(NLP)作为人工智能的一个重要分支,近年来取得了显著的突破,特别在机器翻译、情感分析、聊天机器人等领域取得了显著的研究成果和广泛的应用。以下是对这些领域最新研究成果和应用案例的概述,并附带相应的代码实例。
215 1

热门文章

最新文章