AgiBot World:智元机器人开源百万真机数据集,数据集涵盖了日常生活所需的绝大多数动作

本文涉及的产品
图像搜索,7款服务类型 1个月
简介: AgiBot World 是智元机器人开源的百万真机数据集,旨在推动具身智能的发展,覆盖家居、餐饮、工业等五大核心场景。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 数据集规模:AgiBot World 包含百万级真机数据,覆盖五大核心场景。
  2. 硬件配置:数据集采集依托于配备8个摄像头和6个自由度的灵巧手的机器人平台。
  3. 开源计划:智元机器人计划开源千万仿真数据,并发布具身基座大模型。

正文(附运行示例)

AgiBot World 是什么

公众号: 蚝油菜花 - agibot-world

AgiBot World 是智元机器人开源的百万真机数据集,旨在推动具身智能的发展。数据集包含八十余种日常技能,覆盖家居、餐饮、工业等五大核心场景,数据规模和质量远超谷歌的Open X-Embodiment。

基于智元自建的数据采集工厂和实验基地,通过8个摄像头和6个自由度的灵巧手等高级硬件配置,实现了全域真实场景的高质量数据采集。数据集不仅涵盖了基础操作如抓取、放置,还包括复杂动作如搅拌、折叠、熨烫等,几乎涵盖了日常生活所需的绝大多数动作需求。

AgiBot World 的主要功能

  1. 多样化任务覆盖:AgiBot World 数据集收录了八十余种日常生活中的多样化技能,从基础操作如抓取、放置、推、拉,到更复杂的动作如搅拌、折叠、熨烫等,几乎涵盖了日常生活所需的绝大多数动作需求。
  2. 全域真实场景:数据集诞生于智元机器人自建的大规模数据采集工厂与应用实验基地,空间总面积超过4000平方米,包含三千多种真实物品,复刻了家居、餐饮、工业、商超和办公五大核心场景,为机器人提供了一个高度真实的生产生活环境。
  3. 全能硬件平台:数据集采集所依托的机器人平台配备了8个摄像头环绕式布局,能够实时全方位感知周围环境的动态变化。机器人还具备6个主动自由度的灵巧手,能够完成熨衣服等多种复杂操作。全身最高32个自由度,末端六维力传感器和高精度视触觉传感器的配备,让机器人在面对精细操作任务时能够有条不紊。
  4. 全程质量把控:智元机器人在AgiBot World的采集过程中采取了多级质量把控和全程人工在环的策略,从采集员的专业培训,到采集过程中的严格管理,再到数据的筛选、审核和标注,每一个环节都经过了精心设计和严格把控。

如何运行 AgiBot World

1. 下载数据集

首先,从 HuggingFace 页面下载 AgiBot World 数据集。

git clone https://huggingface.co/datasets/agibot-world/AgiBotWorld-Alpha

2. 数据预处理

将数据转换为 LeRobot Dataset 格式,具体操作请参考 HuggingFace 页面 的详细说明。

3. 训练模型

利用 LeRobot Dataset 的简便性,我们提供了一个用户友好的 Jupyter Notebook 用于在 AgiBot World 数据集上训练扩散策略。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
8月前
|
算法 机器人 Python
动态规划法在扫地机器人中的实战应用(基于动作值函数的策略迭代 python 附源码)
动态规划法在扫地机器人中的实战应用(基于动作值函数的策略迭代 python 附源码)
98 0
|
8月前
|
机器学习/深度学习 算法 Python
动态规划法和策略迭代在扫地机器人中确定状态值和动作值函数的策略评估(python实现 附源码 超详细)
动态规划法和策略迭代在扫地机器人中确定状态值和动作值函数的策略评估(python实现 附源码 超详细)
87 0
|
18天前
|
传感器 人工智能 自然语言处理
RDT:清华开源全球最大的双臂机器人操作任务扩散基础模型、代码与训练集,基于模仿能力机器人能够自主完成复杂任务
RDT(Robotics Diffusion Transformer)是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量,能够在无需人类操控的情况下自主完成复杂任务,如调酒和遛狗。
84 22
RDT:清华开源全球最大的双臂机器人操作任务扩散基础模型、代码与训练集,基于模仿能力机器人能够自主完成复杂任务
|
1月前
|
人工智能 算法 机器人
开源极客桌面机器人 Desk-Emoji
Desk-Emoji 是一款开源的实体 AI 桌面陪伴机器人,具备酷炫外观、流畅 Emoji 表情、双自由度云台及大模型语音聊天功能,支持手势识别和情绪反馈,适合 DIY 和二次开发,是性价比极高的桌面机器人。
153 1
开源极客桌面机器人 Desk-Emoji
|
2月前
|
人工智能 搜索推荐 机器人
一款开源的宝藏聊天机器人Typebot
Typebot 是一个强大的开源聊天机器人框架,支持多种 AI 模型,包括 Claude 3.5 和 Dify.AI 助手,适用于客服、电商推荐等场景。它通过 Webhook 块实现与外部服务的交互,帮助开发者轻松创建和管理对话式 AI 应用。通过阿里云账号登录,即可快速创建和部署自己的聊天机器人。
|
2月前
|
安全 机器人 开发者
清华开源全球最大双臂机器人扩散大模型RDT,懂调酒能遛狗,登顶HF具身热榜
清华大学近期发布了全球最大的双臂机器人扩散大模型RDT,该模型在调酒、遛狗等任务上表现优异,登顶Hugging Face具身智能热榜。RDT采用扩散架构,具备强大的学习能力,能生成高质量的机器人动作序列,展示了清华在机器人技术领域的领先水平。尽管面临泛化能力、计算资源及安全性等挑战,RDT的开源特性仍为其广泛应用和发展提供了广阔前景。
78 8
|
7月前
|
传感器 人工智能 算法
适应多形态多任务,最强开源机器人学习系统八爪鱼诞生
【6月更文挑战第6天】【八爪鱼开源机器人学习系统】由加州大学伯克利分校等机构研发,适用于多形态多任务,已在arXiv上发表。系统基于transformer,预训练于800k机器人轨迹数据集,能快速适应新环境,支持单臂、双机械臂等。特点是多形态适应、多任务处理、快速微调及开源可复现。实验显示其在9个平台有效,但仍需改进传感器处理和语言指令理解。论文链接:https://arxiv.org/pdf/2405.12213
125 1
|
5月前
|
自然语言处理 机器人 API
Instruct2Act:使用大型语言模型将多模态指令映射到机器人动作
Instruct2Act是一个框架,它结合了大型语言模型和多模态基础模型,将自然语言和视觉指令转换为机器人的顺序动作,实现精确的感知、规划和行动,展示了强大的零样本性能和灵活性。
66 0
Instruct2Act:使用大型语言模型将多模态指令映射到机器人动作
|
6月前
|
机器学习/深度学习 算法 机器人
相隔3000英里,用苹果头显遥控机器人!UCSD、MIT华人团队开源TeleVision
【7月更文挑战第19天】UCSD和MIT华人团队开发的TeleVision技术实现了远程操控机器人。借助AR/VR,操作者通过头显设备获得实时的机器人视角,并通过手势控制执行任务。系统支持多人协作,已在远距离实验中成功导航复杂环境。不过,高带宽需求和交互学习曲线是挑战。[论文链接](https://robot-tv.github.io/resources/television.pdf)**
90 14
|
6月前
|
机器学习/深度学习 监控 安全
相隔3000英里,用苹果头显遥控机器人!UCSD、MIT华人团队开源TeleVision
【7月更文挑战第20天】加州大学圣地亚哥分校(UCSD)与麻省理工学院(MIT)的华人团队开发出TeleVision系统,结合Apple AR/VR头显,实现超远程沉浸式机器人控制。💡该系统克服视频流延迟,精准手势识别难题,让操作者仿佛亲临现场指挥机器人行动。目前处于研究阶段,已展示基本任务执行能力。更多信息查阅[论文](https://robot-tv.github.io/resources/television.pdf)。🌐 --- **🏷️远程控制** **🏷️虚拟现实** **🏷️机器人技术** **🏷️华人科研** **🏷️科技创新**
56 4

热门文章

最新文章