中国学者开发看护机器人仿真环境,还做了真人实验,获IROS 2022最佳论文之一

简介: 中国学者开发看护机器人仿真环境,还做了真人实验,获IROS 2022最佳论文之一


据 WHO 数据显示,世界上有 1.9 亿人具有不同程度的行动限制,且需要看护人员的帮助才能获得较高的生活质量。目前,世界主要国家逐渐进入不同程度的老龄化社会,对护理人员的需求急剧上升,而相关人才的培养需要长期的投入,因此,设计看护机器人是可能的解决方案。


但是,看护机器人领域的发展面临着重重困难,比如:


1. 前沿研究者缺少被看护者和看护人员的第一人称真实需求的研究积累(任务、算法、数据)。

2. 真实机器人本体的开发、部署、运行和维护所需要的开销也十分高昂。

3. 该领域研究的实验需要在理解被看护者日常活动需求后,有针对性地进行改造,大大增加研究成本。


因此,一个能高度拟真看护场景的仿真平台,能大大降低进入该研究领域的门槛,使得该领域的研究更容易展开和学术同行间比较。


和以往用于通用机器人的仿真环境不同,RCareWorld 团队同时吸取了来自看护场景相关人员,和机器人研究学者的建议,对机器人所需学习的技能、虚拟人建模、活动场景设计、功能性接口等提供了充分的支持。


机器人看护技能


作者在仿真环境中对常见的看护任务进行了基准测试:喂食、穿衣、擦拭身体、四肢重摆、帮助移动、帮助上卫生间等。



此外,作者进行了两个真实世界实验:


1. 将擦拭身体这个任务中学到的策略直接迁移到真机实验中。


2. 真实世界中的社交看护任务:作者用行为树编程的 NAO 机器人作为教练,通过 VR 界面来指导被看护人员的肢体复健。



完整虚拟人建模:

肌肉骨骼、软组织、关节活动范围


肌肉骨骼系统


人体的肌肉骨骼系统,会接收来自神经系统的激活信号,以此决定对肌肉的收缩或舒张,从而带动骨头关节的运动。该过程,作者使用 Hill-type 肌肉模型建模,参考来自 OpenSim 数据库的相关数据,完成肌肉在人体模型的设置。



软组织


另一方面,当人体关节运动时,会造成表面软组织形变,作者用基于 XPBD 的仿真技术对这一部分进行了建模。这些软组织,不仅存在于表面,还存在于口腔。在口腔中,作者对舌头也进行了建模。如图,当草莓放到人的口腔中,他的舌头随之形变。


关节活动范围


当人受到一些损伤,如脊椎损伤(C1-C3, C4-C5, C6-C7)、脑瘫、半身麻痹、脑中风等,身体关节的活动性会受到极大的影响,运动模式也会发生变化。作者根据来自临床的数据,建模了人体受到此类损伤后对应的关节活动。


活动场景:无障碍性的三个层次


根据活动场景的无障碍性,给场景分出三个等级:


  • 常规(L1):此时不需要进行改造。
  • 部分无障碍(L2):此时部分物体需被移除,使用不便的工具或部件需被替换,如旋转式的门把手需被替换成按压式,或门整个替换成滑动门。
  • 完全无障碍(L3):此时所有活动区域都应是可通过和可到达的,可能要涉及楼梯、过道加宽,上悬橱柜下拉,台面下方掏空等改造。



全面的修改方案参考自《通用设计指南》(Universal Design Manual)。根据《通用设计指南》的指导,作者修改了 16 套房子。房子模型选自 Matterport3D 数据集,总共包括 17 个厨房、17 个客厅、59 间卧室、16 个餐厅、70 间浴室、18 个休息室和 41 个其它房间。在房子中合适的区域,都配有病床、病人吊索、轮椅等医疗辅助设备。



功能性接口:模型、传感、交互接口


根据机器人研究学者的建议,仿真环境应该:


1. 支持控制常见的看护机器人模型:包括 HSR、Stretch、Nao、Fetch、Kinova、Franka、UR 等。



2. 提供多模态传感:RGB,深度、LiDAR、关节和末端力传感、全臂触觉感知。



3. 具有多种交互控制界面和接口,支持规划、控制和学习算法,便于开发者使用:Python、ROS、VR。


上海交大推出具身智能平台RobotFlow/RFUniverse


RCareWorld 项目基于 RFUniverse 仿真平台开发。RFUniverse 是由上海交通大学卢策吾教授团队发起推出的具身智能平台 RobotFlow 旗下的多物理机器人仿真平台。该仿真平台支持包括食物切割、衣服折叠等任务在内的高级机器人操作任务。对刚体、关节体、柔性体、流体等物体类型提供支持。上海交通大学MVIG卢策吾团队,长期研究具身智能,计算机视觉,团队在《自然》,《自然. 机器智能》,TPAMI,ICRA,IROS上发表论文一百多篇,形成GraspNet(Anygrasp),Aphapose,HAKE等知名机器人学习,计算机视觉系统。


现已开源:https://github.com/mvig-robotflow/pyrfuniverse


RCareWorld 论文共同第一作者徐文强博士是该系统核心人员。


目录
打赏
0
0
0
0
368
分享
相关文章
UniAct:清华团队突破!跨平台机器人通用模型,仅需50条数据就能快速适配新环境
UniAct 是由清华、商汤、北大、上海AI Lab联合推出的具身基础模型框架,旨在解决不同机器人之间的行为异构性问题,通过学习通用行为实现跨平台控制。
75 1
UniAct:清华团队突破!跨平台机器人通用模型,仅需50条数据就能快速适配新环境
基于QLearning强化学习的较大规模栅格地图机器人路径规划matlab仿真
本项目基于MATLAB 2022a,通过强化学习算法实现机器人在栅格地图中的路径规划。仿真结果显示了机器人从初始位置到目标位置的行驶动作序列(如“下下下下右右...”),并生成了详细的路径图。智能体通过Q-Learning算法与环境交互,根据奖励信号优化行为策略,最终学会最优路径。核心程序实现了效用值排序、状态转换及动作选择,并输出机器人行驶的动作序列和路径可视化图。
311 85
基于Qlearning强化学习的机器人路线规划matlab仿真
本内容展示了基于Q-learning强化学习算法的路径规划研究,包括MATLAB仿真效果、理论知识及核心代码。通过训练与测试,智能体在离散化网格环境中学习最优策略以规避障碍并到达目标。代码实现中采用epsilon-贪婪策略平衡探索与利用,并针对紧急情况设计特殊动作逻辑(如后退)。最终,Q-table收敛后可生成从起点到终点的最优路径,为机器人导航提供有效解决方案。
97 20
基于模糊PID控制器的puma560机器人控制系统的simulink建模与仿真
本课题研究基于模糊PID控制器的PUMA 560机器人控制系统建模与仿真,对比传统PID控制器性能。通过Simulink实现系统建模,分析两种控制器的误差表现。模糊PID结合了PID的线性控制优势与模糊逻辑的灵活性,提升动态性能和抗干扰能力。以PUMA 560机器人为例,其运动学和动力学模型为基础,设计针对各关节的模糊PID控制器,包括模糊化、规则制定、推理及去模糊化等步骤,最终实现更优的控制效果。
基于DWA优化算法的机器人路径规划matlab仿真
本项目基于DWA优化算法实现机器人路径规划的MATLAB仿真,适用于动态环境下的自主导航。使用MATLAB2022A版本运行,展示路径规划和预测结果。核心代码通过散点图和轨迹图可视化路径点及预测路径。DWA算法通过定义速度空间、采样候选动作并评估其优劣(目标方向性、障碍物距离、速度一致性),实时调整机器人运动参数,确保安全避障并接近目标。
191 68
AstrBot:轻松将大模型接入QQ、微信等消息平台,打造多功能AI聊天机器人的开发框架,附详细教程
AstrBot 是一个开源的多平台聊天机器人及开发框架,支持多种大语言模型和消息平台,具备多轮对话、语音转文字等功能。
3148 15
AstrBot:轻松将大模型接入QQ、微信等消息平台,打造多功能AI聊天机器人的开发框架,附详细教程
基于PID控制器的六自由度串联机器人控制系统的simulink建模与仿真
本课题基于MATLAB2022a的Simulink环境,对六自由度串联机器人控制系统进行建模与仿真,采用PID控制器实现关节的位置、速度或力矩控制。PID控制器通过比例、积分、微分三种策略有效减小系统误差,提高响应速度和稳定性。仿真结果显示系统运行良好,无水印。尽管PID控制简单实用,但在复杂动力学环境下,常结合其他控制策略以增强鲁棒性。
四自由度SCARA机器人的运动学和动力学matlab建模与仿真
本课题深入研究SCARA机器人系统,提出其动力学与运动学模型,并基于MATLAB Robotics Toolbox建立四自由度SCARA机器人仿真对象。通过理论结合仿真实验,实现了运动学正解、逆解及轨迹规划等功能,完成系统实验和算法验证。SCARA机器人以其平面关节结构实现快速定位与装配,在自动生产线中广泛应用,尤其在电子和汽车行业表现优异。使用D-H参数法进行结构建模,推导末端执行器的位姿,建立了机器人的运动学方程。
Cosmos:英伟达生成式世界基础模型平台,加速自动驾驶与机器人开发
Cosmos 是英伟达推出的生成式世界基础模型平台,旨在加速物理人工智能系统的发展,特别是在自动驾驶和机器人领域。
472 15
Cosmos:英伟达生成式世界基础模型平台,加速自动驾驶与机器人开发
顶顶通电话机器人开发接口对接大语言模型之实时流TTS对接介绍
大语言模型通常流式返回文字,若一次性TTS会导致严重延迟。通过标点断句或流TTS可实现低延迟的文本到语音转换。本文介绍了电话机器人接口适配流TTS的原理及技术点,包括FreeSWITCH通过WebSocket流TTS放音,以及推流协议和旁路流对接的详细说明。
361 1

热门文章

最新文章