Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%

本文涉及的产品
图像搜索,任选一个服务类型 1个月
简介: Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型,结合视觉预测与动作执行,显著提升机器人任务成功率。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:Seer 结合视觉预测与动作执行,显著提升机器人任务成功率。
  2. 技术:基于 Transformer 架构,融合多模态数据,实现高效的动作预测与视觉预测。
  3. 应用:广泛应用于工业自动化、服务机器人、医疗健康等领域。

正文(附运行示例)

Seer 是什么

seer

Seer 是由上海 AI 实验室、北京大学计算机科学与技术学院、北京大学软件与微电子学院等机构联合推出的端到端操作模型。该模型通过结合历史信息和目标信号(如语言指令),预测未来时刻的状态,并利用逆动力学模型生成动作信号。

Seer 基于 Transformer 架构,能够处理多模态输入数据,有效融合视觉、语言和机器人本体信号。在真实机器人任务中,Seer 的操作成功率较当前 Sota 提升 43%,且在多种复杂场景下表现出优异的泛化能力。在控制算法测试基准 CALVIN ABC-D Benchmark 中,Seer 的平均任务完成长度达 4.28,综合领先同类模型。

Seer 的主要功能

  • 动作预测:根据当前的视觉状态和目标,预测出合适的机器人动作。基于逆动力学模型估计实现目标所需的中间动作序列。
  • 视觉预测:Seer 具备条件视觉预测功能,能预测未来一定时间步内的 RGB 图像,让机器人“预见”未来的视觉状态,更好地规划和调整动作。
  • 多模态融合:融合视觉、语言和机器人状态等多种模态的信息,实现对复杂任务的理解和执行。基于多模态编码器将不同模态的特征进行整合,为动作预测和视觉预测提供全面的上下文信息。
  • 泛化能力:经过在大规模机器人数据集上的预训练,Seer 展现出强大的泛化能力,在未见场景、新物体、不同光照条件下以及面对高强度干扰时,依然保持稳定的性能。
  • 数据效率:Seer 在预训练阶段用大量数据学习到丰富的先验知识,因此在下游任务中仅需要少量的微调数据即可达到较好的性能,降低数据采集和标注的成本。

Seer 的技术原理

  • 端到端架构:基于端到端的架构设计,将视觉预测和逆动力学预测紧密结合在一起。在训练过程中,视觉预测模块和逆动力学模块协同优化,让模型能充分利用视觉和动作信息,实现更准确的动作预测。
  • Transformer 架构:基于 Transformer 架构处理视觉状态和动作信息。Transformer 能捕捉到视觉和动作序列中的复杂依赖关系,为模型提供强大的特征提取和表示能力。
  • 先见令牌和动作令牌:Seer 引入先见令牌(foresight token)和动作令牌(action token)。先见令牌预测未来的 RGB 图像,动作令牌估计当前和预测未来观察之间的中间动作。两个令牌基于多模态编码器与输入的 RGB 图像、机器人状态和语言令牌进行融合,用单向注意力掩码实现深度的信息整合。
  • 单向注意力掩码:Seer 设计特殊的单向注意力掩码,让动作令牌充分整合过去和未来的预测信息,有助于模型在多层网络中实现更深层次的信息融合,提高动作预测的准确性和鲁棒性。
  • 大规模预训练与微调:Seer 首先在大规模机器人数据集(如 DROID)上进行预训练,学习到丰富的视觉和动作先验知识。在下游任务中,基于少量的微调数据对模型进行调整,适应具体的任务场景和目标。

如何运行 Seer

仿真环境运行

CALVIN ABC-D

  1. 安装:按照 CALVIN ABC-D 安装指南 进行环境配置。
  2. 运行代码:根据 CALVIN ABC-D 运行指南 运行仿真代码。

真实世界实验

快速训练(有/无预训练)

  1. 安装:按照 真实世界安装指南 进行环境配置。
  2. 后处理:根据 真实世界后处理指南 进行数据后处理。
  3. 微调与从头训练:按照 真实世界微调与从头训练指南 进行模型训练。
  4. 推理:根据 真实世界推理指南 进行模型推理。

预训练

  1. 安装:按照 真实世界安装指南 进行环境配置。
  2. 预处理:根据 真实世界预处理指南 进行数据预处理。
  3. 预训练:按照 真实世界预训练指南 进行模型预训练。

资源

CALVIN ABC-D

真实世界实验

快速训练(有/无预训练)

预训练


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

目录
打赏
0
19
20
0
336
分享
相关文章
AI 世界生存手册(一):从LR到DeepSeek,模型慢慢变大了,也变强了
大家都可以通过写 prompt 来和大模型对话,那大模型之前的算法是怎样的,算法世界经过了哪些比较关键的发展,最后为什么是大模型这条路线走向了 AGI,作者用两篇文章共5.7万字详细探索一下。
AI 世界生存手册(一):从LR到DeepSeek,模型慢慢变大了,也变强了
Browser Use:40.7K Star!一句话让AI完全接管浏览器!自动规划完成任务,多标签页同时管理
Browser Use 是一款专为大语言模型设计的智能浏览器自动化工具,支持多标签页管理、视觉识别、内容提取等功能,并能记录和重复执行特定动作,适用于多种应用场景。
401 14
Browser Use:40.7K Star!一句话让AI完全接管浏览器!自动规划完成任务,多标签页同时管理
NotaGen:中央音乐学院联合清华推出AI音乐生成模型,古典乐谱一键生成,音乐性接近人类!
NotaGen 是由中央音乐学院、北京航空航天大学、清华大学等机构联合推出的音乐生成模型,基于模仿大型语言模型的训练范式,能够生成高质量的古典乐谱。该模型通过预训练、微调和强化学习相结合的方式,显著提升了符号音乐生成的艺术性和可控性。
228 15
NotaGen:中央音乐学院联合清华推出AI音乐生成模型,古典乐谱一键生成,音乐性接近人类!
SpatialVLA:上海AI Lab联合上科大推出的空间具身通用操作模型
SpatialVLA 是由上海 AI Lab、中国电信人工智能研究院和上海科技大学等机构共同推出的新型空间具身通用操作模型,基于百万真实数据预训练,赋予机器人强大的3D空间理解能力,支持跨平台泛化控制。
53 7
SpatialVLA:上海AI Lab联合上科大推出的空间具身通用操作模型
AI 世界生存手册(二):从LR到DeepSeek,模型慢慢变大了,也变强了
大家都可以通过写 prompt 来和大模型对话,那大模型之前的算法是怎样的,算法世界经过了哪些比较关键的发展,最后为什么是大模型这条路线走向了 AGI,作者用两篇文章共5.7万字详细探索一下。 第一篇文章指路👉《AI 世界生存手册(一):从LR到DeepSeek,模型慢慢变大了,也变强了》
AI 世界生存手册(二):从LR到DeepSeek,模型慢慢变大了,也变强了
Nanobrowser:开源版OpenAI Operator!AI自动操控浏览器,复杂网页任务一键搞定
Nanobrowser 是一款开源的 Chrome 扩展工具,基于多智能体系统实现复杂的网页任务自动化,支持多种大型语言模型,完全免费且注重隐私保护。
127 1
阿里云高校计划视觉AI五天训练营 Day 1——视觉应用探索
在这个人工智能已经普及的时代,各行各业都充斥着AI的身影。大部分人认为人工智能起点高,入门难,想要使用AI服务又无法独立完成编写,开发者可以通过阿里云视觉平台提供的通用且标准化的接入方式,快速接入及使用阿里云视觉平台提供的包括人脸人体、文字识别、商品理解、内容安全、图像识别、图像生产、分割抠图、视觉搜索、目标检测、图像分析处理、视频理解、视频生产、视频分割13个类目多个API能力,为其提供高易用、普惠的视觉API服务,帮助企业快速建立视觉智能技术的应用能力的综合性视觉AI能力平台。
1316 0
阿里云高校计划视觉AI五天训练营 Day 1——视觉应用探索
视觉AI五天训练营教程 Day 3
简介: 在这个人工智能已经普及的时代,各行各业都充斥着AI的身影。大部分人认为人工智能起点高,入门难,想要使用AI服务又无法独立完成编写,阿里云视觉平台是基于阿里巴巴视觉智能技术实践经验,面向视觉智能技术企业和开发商(含开发者),为其提供高易用、普惠的视觉API服务,帮助企业快速建立视觉智能技术的应用能力的综合性视觉AI能力平台。开发者可以通过阿里云视觉平台提供的通用且标准化的接入方式,快速接入及使用阿里云视觉平台提供的包括人脸人体、文字识别、商品理解、内容安全、图像识别、图像生产、分割抠图、视觉搜索、目标检测、图像分析处理、视频理解、视频生产、视频分割13个类目多个API能力。本期直播将带你
599 0
视觉AI五天训练营教程 Day 3
阿里云高校计划视觉AI五天训练营 Day 2——身份证识别系统
本文介绍了如何使用阿里云视觉智能开放平台相关服务的PHP SDK,具体包括SDK的获取和安装方法以及SDK代码示例。
480 0
阿里云高校计划视觉AI五天训练营 Day 2——身份证识别系统
阿里云高校计划视觉AI五天训练营教程 Day 2 - 身份证识别系统搭建
实战讲述如何使用阿里云视觉平台API快速开发在线视觉AI平台,主要如何为如何搭建身份证识别系统,进而扩展到其他的识别系统。
阿里云高校计划视觉AI五天训练营教程 Day 2 - 身份证识别系统搭建

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等