相隔3000英里,用苹果头显遥控机器人!UCSD、MIT华人团队开源TeleVision

简介: 【7月更文挑战第19天】UCSD和MIT华人团队开发的TeleVision技术实现了远程操控机器人。借助AR/VR,操作者通过头显设备获得实时的机器人视角,并通过手势控制执行任务。系统支持多人协作,已在远距离实验中成功导航复杂环境。不过,高带宽需求和交互学习曲线是挑战。[论文链接](https://robot-tv.github.io/resources/television.pdf)**

近日,来自加州大学圣地亚哥分校(UCSD)和麻省理工学院(MIT)的一支研究团队提出了一项名为TeleVision(远程视觉)的创新技术,该技术旨在实现相隔数千英里的远程机器人控制。

TeleVision技术的核心是利用先进的计算机视觉和机器学习算法,结合增强现实(AR)和虚拟现实(VR)技术,为远程操作人员提供身临其境的视觉体验和精确的操作控制。

具体而言,TeleVision系统包括以下关键组件:

  1. 远程操作界面:操作人员可以使用头戴式显示器(HMD)或其他AR/VR设备,通过TeleVision系统与远程机器人进行交互。系统将实时捕捉机器人的视觉输入,并将其叠加在操作人员的视野中,使其能够看到机器人所看到的场景。

  2. 视觉感知与理解:TeleVision系统利用计算机视觉算法对机器人的视觉输入进行分析和理解。这包括目标检测、场景分割、三维重建等任务,以帮助操作人员更好地理解机器人周围的环境。

  3. 增强现实交互:通过AR技术,TeleVision系统可以将虚拟的操作界面或工具叠加在操作人员的视野中,使其能够更方便地与机器人进行交互。例如,系统可以显示虚拟的按钮或手柄,让操作人员通过手势或语音指令来控制机器人。

  4. 远程通信与控制:TeleVision系统通过高速网络连接将操作人员与远程机器人连接起来,并实时传输视觉和控制信号。系统还支持多用户协作,多个操作人员可以同时控制同一个机器人,或共享同一个视觉输入。

根据研究团队的实验结果,TeleVision系统在远程机器人控制方面取得了令人鼓舞的进展。在一项横跨美国东西海岸的实验中,操作人员使用TeleVision系统成功控制了位于UCSD的机器人,并完成了多个复杂的任务,包括在拥挤的环境中导航、与人类进行交互等。

然而,TeleVision技术也面临一些挑战和限制。首先,由于需要实时传输高分辨率的视觉信号,TeleVision系统对网络带宽和延迟要求较高,这可能会限制其在网络条件较差地区的应用。其次,TeleVision系统的交互方式仍然不够自然,操作人员需要花费一定的时间来适应和学习如何使用该系统。

论文地址:https://robot-tv.github.io/resources/television.pdf

目录
相关文章
|
28天前
|
Web App开发 机器学习/深度学习 人工智能
Weebo:支持多语言和实时语音交流的开源 AI 聊天机器人,回复具备语调、情感的语音
Weebo 是一款基于 Whisper Small、Llama 3.2 和 Kokoro-82M 技术的 AI 语音聊天机器人,支持实时语音交互和多语言对话,适用于个人助理、娱乐互动和教育辅导等多种场景。
194 17
Weebo:支持多语言和实时语音交流的开源 AI 聊天机器人,回复具备语调、情感的语音
|
1月前
|
数据采集 人工智能 算法
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型,结合视觉预测与动作执行,显著提升机器人任务成功率。
71 20
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
|
1月前
|
数据采集 传感器 人工智能
AgiBot World:智元机器人开源百万真机数据集,数据集涵盖了日常生活所需的绝大多数动作
AgiBot World 是智元机器人开源的百万真机数据集,旨在推动具身智能的发展,覆盖家居、餐饮、工业等五大核心场景。
121 9
AgiBot World:智元机器人开源百万真机数据集,数据集涵盖了日常生活所需的绝大多数动作
|
2月前
|
传感器 人工智能 自然语言处理
RDT:清华开源全球最大的双臂机器人操作任务扩散基础模型、代码与训练集,基于模仿能力机器人能够自主完成复杂任务
RDT(Robotics Diffusion Transformer)是由清华大学AI研究院TSAIL团队推出的全球最大的双臂机器人操作任务扩散基础模型。RDT具备十亿参数量,能够在无需人类操控的情况下自主完成复杂任务,如调酒和遛狗。
169 22
RDT:清华开源全球最大的双臂机器人操作任务扩散基础模型、代码与训练集,基于模仿能力机器人能够自主完成复杂任务
|
1月前
|
人工智能 算法 自动驾驶
Jim Fan全华人团队HOVER问世,1.5M小模型让机器人获潜意识!
在机器人技术领域,人形机器人的全身控制一直极具挑战。传统方法为不同任务(如导航、移动操作等)单独训练控制策略,限制了策略的可转移性。Jim Fan团队提出HOVER框架,通过全身运动模仿作为共同抽象,整合多种控制模式,实现无缝过渡,显著提升控制效率和灵活性。HOVER不仅为人形机器人应用带来巨大潜力,也为机器人技术发展提供新思路。论文地址:https://arxiv.org/abs/2410.21229
68 23
|
2月前
|
传感器 算法 机器人
聚焦视听触感官协同配合的具身精细操纵,人大胡迪团队领衔探索机器人模态时变性挑战
中国人民大学胡迪团队提出MS-Bot方法,通过阶段性引导的动态多感官融合,使机器人能像人类一样灵活运用视觉、听觉和触觉完成复杂任务。实验表明,该方法提高了操作准确性和效率,但仍面临数据依赖、计算复杂度和泛化能力等挑战。论文链接:https://arxiv.org/abs/2408.01366v2
85 21
|
2月前
|
人工智能 自然语言处理 机器人
机器人迈向ChatGPT时刻!清华团队首次发现具身智能Scaling Laws
清华大学研究团队在机器人操作领域发现了数据规模定律,通过大规模数据训练,机器人策略的泛化性能显著提升。研究揭示了环境和对象多样性的重要性,提出了高效的數據收集策略,使机器人在新环境中成功率达到约90%。这一发现有望推动机器人技术的发展,实现更广泛的应用。
90 26
|
2月前
|
人工智能 算法 机器人
开源极客桌面机器人 Desk-Emoji
Desk-Emoji 是一款开源的实体 AI 桌面陪伴机器人,具备酷炫外观、流畅 Emoji 表情、双自由度云台及大模型语音聊天功能,支持手势识别和情绪反馈,适合 DIY 和二次开发,是性价比极高的桌面机器人。
418 1
开源极客桌面机器人 Desk-Emoji
|
3月前
|
人工智能 搜索推荐 机器人
一款开源的宝藏聊天机器人Typebot
Typebot 是一个强大的开源聊天机器人框架,支持多种 AI 模型,包括 Claude 3.5 和 Dify.AI 助手,适用于客服、电商推荐等场景。它通过 Webhook 块实现与外部服务的交互,帮助开发者轻松创建和管理对话式 AI 应用。通过阿里云账号登录,即可快速创建和部署自己的聊天机器人。
|
3月前
|
人工智能 机器人
朱玉可团队新作:看一眼就能模仿,大模型让机器人轻松学会撒盐
朱玉可团队来自UT Austin和NVIDIA Research,提出了一种名为OKAMI的新方法,通过模仿人类行为视频,使机器人能快速学会操作技能,如撒盐、放玩具等。OKAMI分为参考计划生成和对象感知重定位两阶段,显著提高了机器人的操作精度和适应能力,减少了传统方法所需的大量示范和训练时间。
37 3

热门文章

最新文章