RDT:清华开源全球最大的双臂机器人操作任务扩散基础模型、代码与训练集,基于模仿能力机器人能够自主完成复杂任务

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: RDT(Robotics Diffusion Transformer)是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量,能够在无需人类操控的情况下自主完成复杂任务,如调酒和遛狗。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 模型介绍:RDT是全球最大的双臂机器人操作任务扩散基础模型,具备十亿参数量,能够自主完成复杂任务。
  2. 主要功能:RDT支持双臂协调操作、自主任务执行、高精确度操作、语言指令理解和少样本学习。
  3. 技术原理:RDT结合多模态输入编码、Transformer骨干网络和预训练与微调技术,展现出强大的泛化能力和操作精度。

正文(附运行示例)

RDT 是什么

公众号: 蚝油菜花 - RoboticsDiffusionTransformer

RDT(Robotics Diffusion Transformer)是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量,能够在无需人类操控的情况下自主完成复杂任务,如调酒和遛狗。RDT基于模仿学习人类动作,展现出强大的泛化能力和操作精度,能够处理未见过的物体和场景。清华团队已将RDT的代码、模型和训练数据集开源,推动机器人技术的发展和应用。

RDT的核心在于其多模态输入编码和Transformer骨干网络,结合语言、视觉和动作三种模态,能够处理复杂的机器人操作任务。

RDT 的主要功能

  • 双臂协调操作:指挥机器人的双臂协同工作,完成复杂的物理任务,例如调酒和遛狗。
  • 自主任务执行:无需人类直接操控,自主完成之前未见过的全新任务。
  • 高精确度操作:RDT能够进行精确的操作,如控制机器狗走直线,需要极高的操作精度。
  • 语言指令理解:理解并遵循人类的自然语言指令,执行相应的动作。
  • 少样本学习:RDT具有强大的学习能力,只需少量演示即可学会新技能。

RDT 的技术原理

  • 多模态输入编码:RDT结合语言、视觉和动作三种模态,基于不同的编码方式处理输入。
  • 动作编码:具有傅里叶特征的多层感知机(MLP)。
  • 图片编码:基于经过对齐的SigLIP。
  • 语言编码:使用T5-XXL语言模型。
  • Transformer骨干网络:RDT采用Transformer作为骨干网络,针对机器人操作进行关键修改。
  • QKNorm和RMSNorm:缓解传感器失灵导致的极端值问题。
  • 非线性MLP解码器:增强对非线性动力学的近似能力。
  • 交替注入:平衡图像和文本模态,防止信息淹没。
  • 预训练与微调:RDT在大规模的具身数据集上进行预训练,获得泛化性,基于高质量的双臂微调数据集进行微调,增强双臂操作能力。
  • 统一动作空间:构建统一的动作空间,统一不同机器人数据的格式,让模型从不同数据中学习共享的物理规律。

如何运行 RDT

安装环境

  1. 克隆仓库并安装依赖:

    git clone git@github.com:thu-ml/RoboticsDiffusionTransformer.git
    cd RoboticsDiffusionTransformer
    conda create -n rdt python=3.10.0
    conda activate rdt
    pip install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cu121
    pip install packaging==24.0
    pip install flash-attn --no-build-isolation
    pip install -r requirements.txt
    
  2. 下载多模态编码器并链接到仓库目录:

    mkdir -p google
    ln -s /path/to/t5-v1_1-xxl google/t5-v1_1-xxl
    ln -s /path/to/siglip-so400m-patch14-384 google/siglip-so400m-patch14-384
    

微调模型

  1. 准备数据集并链接至仓库目录:

    cd data
    mkdir -p datasets
    ln -s /path/to/my_cool_dataset datasets/my_cool_dataset
    
  2. 实现数据集加载器并计算数据集统计信息:

    python -m data.compute_dataset_stat_hdf5
    
  3. 启动微调:

    source finetune.sh
    

部署到真实机器人

  1. 修改机器人动作格式转换函数:

    def _format_joint_to_state(self, joint_state):
     # 将机器人原始动作转换为RDT接受的统一动作向量
    
  2. 运行推理脚本:

    python -m scripts.agilex_inference --pretrained_model_name_or_path=<PATH TO MODEL CHECKPOINT>
    

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
1月前
|
数据采集 人工智能 算法
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型,结合视觉预测与动作执行,显著提升机器人任务成功率。
66 20
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
|
1月前
|
人工智能 自动驾驶 安全
Cosmos:英伟达生成式世界基础模型平台,加速自动驾驶与机器人开发
Cosmos 是英伟达推出的生成式世界基础模型平台,旨在加速物理人工智能系统的发展,特别是在自动驾驶和机器人领域。
201 15
Cosmos:英伟达生成式世界基础模型平台,加速自动驾驶与机器人开发
|
2月前
|
存储 自然语言处理 机器人
基于的Qwen模型的智能客服Discord机器人,使用🐫 CAMEL、SambaNova、Firecrawl和Qdrant实现RAG Agent
基于Qwen模型的智能客服Discord机器人,使用CAMEL、SambaNova、Firecrawl和Qdrant实现RAG Agent。构建了一个能够处理复杂问题并能进行快速响应的强大聊天机器人。该机器人可在Discord平台上运行,支持实时对话和语义搜索,提供准确、全面的回答。项目包含详细的安装步骤、代码示例及集成指南,适合开发者快速上手。
|
1月前
|
人工智能 算法 自动驾驶
Jim Fan全华人团队HOVER问世,1.5M小模型让机器人获潜意识!
在机器人技术领域,人形机器人的全身控制一直极具挑战。传统方法为不同任务(如导航、移动操作等)单独训练控制策略,限制了策略的可转移性。Jim Fan团队提出HOVER框架,通过全身运动模仿作为共同抽象,整合多种控制模式,实现无缝过渡,显著提升控制效率和灵活性。HOVER不仅为人形机器人应用带来巨大潜力,也为机器人技术发展提供新思路。论文地址:https://arxiv.org/abs/2410.21229
66 23
|
2月前
|
人工智能 算法 机器人
EMMA-X:新加坡科技设计大学推出具身多模态动作模型,使夹爪机器人具备空间推理和任务规划能力
EMMA-X是由新加坡科技设计大学推出的具身多模态动作模型,具备70亿参数,通过在链式思维推理数据上微调OpenVLA创建。该模型结合层次化的具身数据集,增强空间推理和任务规划能力。
116 3
EMMA-X:新加坡科技设计大学推出具身多模态动作模型,使夹爪机器人具备空间推理和任务规划能力
|
2月前
|
机器学习/深度学习 人工智能 机器人
NeurIPS 2024:机器人操纵世界模型来了,成功率超过谷歌RT-1 26.6%
PIVOT-R是一种新型世界模型,专注于预测与任务相关的路点,以提高语言引导的机器人操作的性能和效率。该模型由路点感知世界模型(WAWM)和轻量级动作预测模块组成,辅以异步分层执行器(AHE),在SeaWave基准测试中表现优异,平均相对改进达19.45%,执行效率提高28倍。
84 26
|
2月前
|
人工智能 自然语言处理 机器人
机器人迈向ChatGPT时刻!清华团队首次发现具身智能Scaling Laws
清华大学研究团队在机器人操作领域发现了数据规模定律,通过大规模数据训练,机器人策略的泛化性能显著提升。研究揭示了环境和对象多样性的重要性,提出了高效的數據收集策略,使机器人在新环境中成功率达到约90%。这一发现有望推动机器人技术的发展,实现更广泛的应用。
89 26
|
2月前
|
编解码 机器人 测试技术
技术实践 | 使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型快速搭建专业领域知识问答机器人
Qwen2-VL是一款具备高级图像和视频理解能力的多模态模型,支持多种语言,适用于多模态应用开发。通过PAI和LLaMA Factory框架,用户可以轻松微调Qwen2-VL模型,快速构建文旅领域的知识问答机器人。本教程详细介绍了从模型部署、微调到对话测试的全过程,帮助开发者高效实现定制化多模态应用。
|
4天前
|
人工智能 自然语言处理 算法
基于DeepSeek的具身智能高校实训解决方案——从DeepSeek+机器人到通用具身智能
本实训方案围绕「多模态输入 -> 感知与理解 -> 行动执行 -> 反馈学习」的闭环过程展开。通过多模态数据的融合(包括听觉、视觉、触觉等),并结合DeepSeek模型和深度学习算法,方案实现了对自然语言指令的理解、物体识别和抓取、路径规划以及任务执行的完整流程。
107 12
|
20天前
|
人工智能 机器人 API
AppFlow:无代码部署Dify作为钉钉智能机器人
本文介绍如何通过计算巢AppFlow完成Dify的无代码部署,并将其配置到钉钉中作为智能机器人使用。首先,在钉钉开放平台创建应用,获取Client ID和Client Secret。接着,创建消息卡片模板并授予应用发送权限。然后,使用AppFlow模板创建连接流,配置Dify鉴权凭证及钉钉连接凭证,完成连接流的发布。最后,在钉钉应用中配置机器人,发布应用版本,实现与Dify应用的对话功能。
AppFlow:无代码部署Dify作为钉钉智能机器人

热门文章

最新文章