中国学者开发看护机器人仿真环境,还做了真人实验,获IROS 2022最佳论文之一

简介: 中国学者开发看护机器人仿真环境,还做了真人实验,获IROS 2022最佳论文之一


据 WHO 数据显示,世界上有 1.9 亿人具有不同程度的行动限制,且需要看护人员的帮助才能获得较高的生活质量。目前,世界主要国家逐渐进入不同程度的老龄化社会,对护理人员的需求急剧上升,而相关人才的培养需要长期的投入,因此,设计看护机器人是可能的解决方案。


但是,看护机器人领域的发展面临着重重困难,比如:


1. 前沿研究者缺少被看护者和看护人员的第一人称真实需求的研究积累(任务、算法、数据)。

2. 真实机器人本体的开发、部署、运行和维护所需要的开销也十分高昂。

3. 该领域研究的实验需要在理解被看护者日常活动需求后,有针对性地进行改造,大大增加研究成本。


因此,一个能高度拟真看护场景的仿真平台,能大大降低进入该研究领域的门槛,使得该领域的研究更容易展开和学术同行间比较。


和以往用于通用机器人的仿真环境不同,RCareWorld 团队同时吸取了来自看护场景相关人员,和机器人研究学者的建议,对机器人所需学习的技能、虚拟人建模、活动场景设计、功能性接口等提供了充分的支持。


机器人看护技能


作者在仿真环境中对常见的看护任务进行了基准测试:喂食、穿衣、擦拭身体、四肢重摆、帮助移动、帮助上卫生间等。



此外,作者进行了两个真实世界实验:


1. 将擦拭身体这个任务中学到的策略直接迁移到真机实验中。


2. 真实世界中的社交看护任务:作者用行为树编程的 NAO 机器人作为教练,通过 VR 界面来指导被看护人员的肢体复健。



完整虚拟人建模:

肌肉骨骼、软组织、关节活动范围


肌肉骨骼系统


人体的肌肉骨骼系统,会接收来自神经系统的激活信号,以此决定对肌肉的收缩或舒张,从而带动骨头关节的运动。该过程,作者使用 Hill-type 肌肉模型建模,参考来自 OpenSim 数据库的相关数据,完成肌肉在人体模型的设置。



软组织


另一方面,当人体关节运动时,会造成表面软组织形变,作者用基于 XPBD 的仿真技术对这一部分进行了建模。这些软组织,不仅存在于表面,还存在于口腔。在口腔中,作者对舌头也进行了建模。如图,当草莓放到人的口腔中,他的舌头随之形变。


关节活动范围


当人受到一些损伤,如脊椎损伤(C1-C3, C4-C5, C6-C7)、脑瘫、半身麻痹、脑中风等,身体关节的活动性会受到极大的影响,运动模式也会发生变化。作者根据来自临床的数据,建模了人体受到此类损伤后对应的关节活动。


活动场景:无障碍性的三个层次


根据活动场景的无障碍性,给场景分出三个等级:


  • 常规(L1):此时不需要进行改造。
  • 部分无障碍(L2):此时部分物体需被移除,使用不便的工具或部件需被替换,如旋转式的门把手需被替换成按压式,或门整个替换成滑动门。
  • 完全无障碍(L3):此时所有活动区域都应是可通过和可到达的,可能要涉及楼梯、过道加宽,上悬橱柜下拉,台面下方掏空等改造。



全面的修改方案参考自《通用设计指南》(Universal Design Manual)。根据《通用设计指南》的指导,作者修改了 16 套房子。房子模型选自 Matterport3D 数据集,总共包括 17 个厨房、17 个客厅、59 间卧室、16 个餐厅、70 间浴室、18 个休息室和 41 个其它房间。在房子中合适的区域,都配有病床、病人吊索、轮椅等医疗辅助设备。



功能性接口:模型、传感、交互接口


根据机器人研究学者的建议,仿真环境应该:


1. 支持控制常见的看护机器人模型:包括 HSR、Stretch、Nao、Fetch、Kinova、Franka、UR 等。



2. 提供多模态传感:RGB,深度、LiDAR、关节和末端力传感、全臂触觉感知。



3. 具有多种交互控制界面和接口,支持规划、控制和学习算法,便于开发者使用:Python、ROS、VR。


上海交大推出具身智能平台RobotFlow/RFUniverse


RCareWorld 项目基于 RFUniverse 仿真平台开发。RFUniverse 是由上海交通大学卢策吾教授团队发起推出的具身智能平台 RobotFlow 旗下的多物理机器人仿真平台。该仿真平台支持包括食物切割、衣服折叠等任务在内的高级机器人操作任务。对刚体、关节体、柔性体、流体等物体类型提供支持。上海交通大学MVIG卢策吾团队,长期研究具身智能,计算机视觉,团队在《自然》,《自然. 机器智能》,TPAMI,ICRA,IROS上发表论文一百多篇,形成GraspNet(Anygrasp),Aphapose,HAKE等知名机器人学习,计算机视觉系统。


现已开源:https://github.com/mvig-robotflow/pyrfuniverse


RCareWorld 论文共同第一作者徐文强博士是该系统核心人员。


相关文章
|
1月前
|
机器学习/深度学习 算法 数据可视化
基于QLearning强化学习的机器人避障和路径规划matlab仿真
本文介绍了使用MATLAB 2022a进行强化学习算法仿真的效果,并详细阐述了Q-Learning原理及其在机器人避障和路径规划中的应用。通过Q-Learning算法,机器人能在未知环境中学习到达目标的最短路径并避开障碍物。仿真结果展示了算法的有效性,核心程序实现了Q表的更新和状态的可视化。未来研究可扩展至更复杂环境和高效算法。![](https://ucc.alicdn.com/pic/developer-ecology/nymobwrkkdwks_d3b95a2f4fd2492381e1742e5658c0bc.gif)等图像展示了具体仿真过程。
71 0
|
1月前
|
机器学习/深度学习 传感器 安全
基于模糊神经网络的移动机器人路径规划matlab仿真
该程序利用模糊神经网络实现移动机器人的路径规划,能在含5至7个静态未知障碍物的环境中随机导航。机器人配备传感器检测前方及其两侧45度方向上的障碍物距离,并根据这些数据调整其速度和方向。MATLAB2022a版本下,通过模糊逻辑处理传感器信息,生成合理的路径,确保机器人安全到达目标位置。以下是该程序在MATLAB2022a下的测试结果展示。
|
1月前
|
人工智能 安全 机器人
Dify开发Agent对接钉钉机器人
这篇文章详细讲解了如何在Dify平台上开发一个Agent并与钉钉机器人集成,实现自动化消息处理和响应功能。
168 0
|
3月前
|
数据可视化 机器人 Python
实例8:机器人的空间描述和变换仿真
本文是关于机器人空间描述和变换的仿真实验教程,通过Python编程和可视化学习,介绍了刚体的平动和转动、位姿描述、坐标变换等基础知识,并提供了具体的实验步骤和代码实现。实验目的是让读者通过编程实践,了解和掌握空间变换的数学原理和操作方法。
47 2
实例8:机器人的空间描述和变换仿真
|
3月前
|
机器学习/深度学习 自然语言处理 算法
聊天机器人开发的最佳实践:技术探索与案例分析
【8月更文挑战第22天】聊天机器人作为人工智能领域的重要应用之一,正逐步改变着人们的生活和工作方式。通过遵循最佳实践和技术探索,开发者可以开发出更加智能、高效、安全的聊天机器人产品。未来,随着技术的不断进步和应用场景的不断拓展,聊天机器人将在更多领域发挥重要作用。
|
3月前
|
人工智能 搜索推荐 安全
从零到一:微信机器人开发的实战心得
从零到一:微信机器人开发的实战心得
251 2
|
3月前
|
XML 传感器 数据可视化
09 机器人仿真Gazebo实例
本文详细介绍了在ROS(机器人操作系统)中使用Gazebo进行机器人仿真的流程,包括安装Gazebo、创建URDF模型、使用xacro优化URDF、配置ROS_control以及为模型添加Gazebo属性和控制器插件,并提供了相应的示例代码。
154 0
|
5月前
|
机器学习/深度学习 传感器 算法
强化学习(RL)在机器人领域的应用,尤其是结合ROS(Robot Operating System)和Gazebo(机器人仿真环境)
强化学习(RL)在机器人领域的应用,尤其是结合ROS(Robot Operating System)和Gazebo(机器人仿真环境)
234 2
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
Midjourney是一个基于GPT-3.5系列接口开发的免费AI机器人
Midjourney是一个基于GPT-3.5系列接口开发的免费AI机器人
83 0
|
5月前
|
机器人 API 开发者
Python基于Mirai开发的QQ机器人保姆式教程(亲测可用)
Python基于Mirai开发的QQ机器人保姆式教程(亲测可用)

热门文章

最新文章