OpenAI探索机器人模拟训练新方法:仿真与真实世界无缝衔接

简介:
本文来自AI新媒体量子位(QbitAI)

59f761d943cff602f358d7190e77d155a50e79b8

OpenAI发布了一项新的机器人技术。

研究人员完全在仿真模拟环境中对机器人控制器进行训练,然后把控制器直接应用在实体机器人身上,通过这种方式让机器人在执行简单任务时,可以应对外界环境预料之外的变化。OpenAI已经用这一技术构建了闭环系统,取代原来的开环系统。

这个模拟器不需要匹配现实世界的情况,相反,OpenAI对相关环境采用了随机化的设置,包括摩擦力、动作延迟、传感器噪声等。这项研究表明,通用机器人可以在完全仿真模拟的环境中进行训练,只需要在现实世界中进行少量的自校准。


上面这个视频中,就是一个使用动态随机进行过模拟训练的机器人,任务就是把一个冰球推到目标点。尽管在真实世界中,研究人员在冰球上绑了一个袋子,改变了冰球的滑动性能,但机器人仍然能完成目标。

动态随机

OpenAI开发出了动态随机来训练机器人适应现实世界位置的动态变化。在训练过程中,研究人员随机抽取一组95个属性来定义环境动态,比如改变机器人身体各个部分的质量、改变操作对象的摩擦力和阻尼、置物台的高度、行动延迟观察噪音等等。

研究人员使用这种方法,训练了一个基于LSTM的策略,用以把冰球在桌子上推来推去。前馈网络在这个任务中失败了,而LSTM可以应用过去的观察,来分析世界的动态并相应的调整自己的行为。

从视觉到行动

OpenAI还是用了强化学习(RL)在模拟器中对机器人进行端到端的训练,并把得到的策略应用于一个实体机器人。这套系统不需要特殊传感器的帮助,就能把视觉直接映射到动作,并且可以根据视觉反馈进行调整。


这是机器人的相机视角。抓取方块的策略,使用了端到端的视觉到动作训练。在模拟情况下,夹子会随着方块的下滑而略微上移,以保持方块的位置。常见的RL算法,只能在扰动较小的情况下起效。

就在这个抓取任务上,OpenAI花了好几个月的时间来尝试传统的RL算法,但最终研究人员开发出一套新的算法:Hindsight Experience Replay (HER)。

HER的实现使用了不对称信息的actor-critic(演员-批评家)技术。演员是一个策略,批评家评估状态,并向演员发出训练信号。批评家可以获得完整的模拟器状态,演员只能访问RGB和深度信息,也就是现实世界中存在的数据。

成本

新的尝试增加了计算需求。动态随机让训练速度降低了3倍,而从图像学习而不是状态,让训练时长增加了5-10倍。

OpenAI认为有三种构建通用机器人的方法:训练大量的物理机器人、让模拟器不断接近真实世界、随机化模拟器然后把模型应用到真实世界。OpenAI的研究人员指出,他们越来越觉得第三种方式将是最重要的解决方案。


OpenAI在最后的视频中,展示了用简单的前馈网络在模拟器中训练的机器人,它无法适应真实世界,完成和模拟器中一样的任务。

关于这项研究的详情,OpenAI最近在arXiv上公布了两篇论文:

Sim-to-Real Transfer of Robotic Control with Dynamics Randomization 
https://arxiv.org/abs/1710.06537

Asymmetric Actor Critic for Image-Based Robot Learning 
https://arxiv.org/abs/1710.06542

OpenAI博客原文:https://blog.openai.com/generalizing-from-simulation/

本文作者:问耕
原文发布时间:2017-10-21
相关文章
|
11月前
|
机器人
如何查询OpenAI账户余额?ChatGPT怎么查看账户余额的方法
ChatGPT是美国OpenAI研发的聊天机器人程序,也是最近火爆全网的热门应用和话题之王。很多用户在使用openai的时候不知道如何查询OpenAI账户余额?
2009 0
|
1天前
|
机器学习/深度学习 人工智能
可解释性研究新突破:OpenAI成功训练1600万个特征的自动编码器
【6月更文挑战第13天】OpenAI团队在可解释性研究上取得进展,训练出拥有1600万特征的自动编码器来解析GPT-4。此模型旨在揭示语言模型的工作原理,提高AI透明度。自动编码器从低维度特征空间重建输入数据,研究通过稀疏特征增强可解释性。虽然规模扩大带来解释性提升,但计算资源需求大,且评估指标的全面性仍受质疑。[论文链接](https://cdn.openai.com/papers/sparse-autoencoders.pdf)
7 1
|
1月前
|
机器学习/深度学习 算法 机器人
论文介绍:使用仿真和领域适应提高深度机器人抓取效率
【5月更文挑战第11天】研究人员提出结合仿真数据和领域适应技术提升深度机器人抓取效率。通过在仿真环境中生成多样化抓取数据并使用GraspGAN和DANN进行像素级和特征级适应,使模型能在现实世界中更好地泛化。实验表明,这种方法能减少现实数据需求,同时保持高抓取性能。尽管面临物理差异和成功率挑战,该研究为机器人抓取技术的进步提供了新途径。论文链接:https://arxiv.org/abs/1709.07857
23 5
|
1月前
|
机器学习/深度学习 机器人
LabVIEW对并行机器人结构进行建模仿真
LabVIEW对并行机器人结构进行建模仿真
14 0
|
1月前
|
机器人 Python
Moveit + Gazebo实现联合仿真:ABB yumi双臂机器人( 二、双臂协同运动实现 )
Moveit + Gazebo实现联合仿真:ABB yumi双臂机器人( 二、双臂协同运动实现 )
|
1月前
|
人工智能 算法 UED
OpenAI与法国和西班牙媒体巨头合作:利用内容进行训练AI
【2月更文挑战第26天】OpenAI与法国和西班牙媒体巨头合作:利用内容进行训练AI
49 7
OpenAI与法国和西班牙媒体巨头合作:利用内容进行训练AI
|
1月前
|
机器学习/深度学习 分布式计算 Python
OpenAI Gym 高级教程——分布式训练与并行化
OpenAI Gym 高级教程——分布式训练与并行化
217 1
|
1月前
|
人工智能 JavaScript 前端开发
让OpenAi给我写个JS的set对象的笔记和快速去重方法
让OpenAi给我写个JS的set对象的笔记和快速去重方法
24 0
|
1月前
|
人工智能 安全 搜索推荐
【战略前沿】OpenAI 为每个人提供自定义聊天机器人的计划将于下周发布
【战略前沿】OpenAI 为每个人提供自定义聊天机器人的计划将于下周发布
【战略前沿】OpenAI 为每个人提供自定义聊天机器人的计划将于下周发布
|
1月前
|
存储 人工智能 机器人
通过 OpenAI 和 Langchain 构建 Arxiv 论文摘要 Twitter 机器人
通过 OpenAI 和 Langchain 构建 Arxiv 论文摘要 Twitter 机器人
74 0

热门文章

最新文章