伯克利,斯坦福,宾大联合发表:从观察和交互中学习预测模型

简介: 伯克利,斯坦福,宾大联合发表:从观察和交互中学习预测模型

所解决的问题?

  作者在这里所关心的是,智能体采样很难采样到那些表现性能比较好的样本,就是说有些状态动作对根本就采不到,因为很难去学习这么好的策略,但是人类可以很轻松的采样得到这些样本。但是这些样本也是存在一些问题的,比如是没有带注释的,他不会有描述说为什么这么做,如果像模仿学习那样利用这些样本的话,还会存在分布漂移的问题(distributional shift)。对于第一个问题作者用图模型做,第二个问题用domain-dependent prior做。

背景

  人类是很容易从别人的trajectory中进行学习,但是由于个体之间的差异,从observation学习action其实是很困难的,比如对于同一个重物,成年人可以很轻松拿起来,而对于婴儿就不是那么容易了。而作者结合历史的观测来解决这个问题。基于模型的强化学习基本上都是要学一个状态-动作的条件概率分布,如果只给observation,其实是很难学习的。而现实生活中却又存在这样大量地数据,你只能获取observation,并不知道具体所采取的动作是什么。比如一个机器人捡东西的视频,你是不可能知道当前时刻输出的电流,扭矩这些东西的。

  作者提出了一种既能够从有动作标注的信息中学,也能从只有观测信息总学习model的方法。也就是action是否给定,都能学。当然了学状态转移的概率太多了,也不一一列举,今年争取做个相关的综述, 以后放在公众号的菜单栏吧,方便大家寻找.

  除此之外,为了能够处理observational 和interaction data , 作者还需要解决Domain adaptation的问题. 对跨域的不变性进行正则化( regularizing for invariance across domains )是不够理想的。例如,如果人类的观察数据涉及到复杂的操作(例如,工具使用),而交互数据只涉及到简单的操作,我们不希望模型对这些差异保持不变。因此,我们采取了一种不同的方法:我们不对跨域的不变性进行正则化,而是明确地对每个域中的(潜伏)行动变量的分布进行建模( model the distributions over (latent) action variables in each of the domains)。

所采用的方法?

  对于作者的设定,手中是有两类数据 而这种数据image.png是存在domain shift的,比如从人类的视频数据和从机器人的交互数据学习. 目的就是为了学一个model,预测未来image.png


概率图模型


  为了能够从观测和交互数据中都能学习,作者提出的概率图模型框架如下图所示:

  生成模型可以表示为:

image.png


  z t用高斯分布进行拟合,动作解码image.png 和状态转移模型都基于高斯分布的输出,用神经网络做. 转移模型用z t作为输入,因此需要后验分布 p ( z t ∣ a t )去生成action-conditioned的隐变量,比如满足这个采样:

image.png

由于有没有action的数据,所以需要 image.png

 由于模型高度复杂和非线性原因,上述这两个后验分布是非常难算的。所以作者设计了两个分布,其网络结构如下所示:

  当动作可观察时,依据evidence lower bound (ELBO)进行优化,同时还需要优化网络框架,和动作编解码框架:


image.png


Domain Shift

  由于数据集是两种类型,所以作者这里还做了Domain Shift。具体做法如下图所示:

  将隐变量z zz分成两部分:image.png通过给不同的先验分布(prior distributions)来让网络能够学地不同。image.png的先验分布给相同的。

取得的效果?

所出版信息?作者信息?

  论文是2019年12月三十号上传到arXiv上面的,估计今年就能知道投到那了。

参考资料

目录
打赏
0
0
0
0
25
分享
相关文章
蛋白质界的 ChatGPT:AlphaFold1 论文必备知识,不会有人还不知道吧
AlphaFold1是一种人工智能模型,由DeepMind公司开发,用于预测蛋白质的三维结构。它是基于深度学习的方法,使用了神经网络来预测蛋白质的结构。AlphaFold1的预测准确率非常高,已经被证明可以在很短的时间内预测出数千个蛋白质的结构。 AlphaFold1的核心思想是将蛋白质的结构预测问题转化为一个优化问题。具体来说,它使用了一种称为“残基-残基接触预测”的方法,通过预测蛋白质中不同残基之间的接触情况来推断出蛋白质的三维结构。这种方法需要大量的训练数据和计算资源,但是它可以在很短的时间内预测出高质量的蛋白质结构
462 0
谷歌大脑阿尔伯塔联合发表:离线强化学习的优化视角【附代码】
谷歌大脑阿尔伯塔联合发表:离线强化学习的优化视角【附代码】
169 0
NeurIPS 2019杰出论文深度解读:窥视机器学习的核心问题
在NeurIPS 2019一千多篇入选论文中,有那么1篇杰出论文值得长时间、深入、反复学习。
183 0
NeurIPS 2019杰出论文深度解读:窥视机器学习的核心问题
Jeff Dean谈2020年机器学习趋势:多任务和多模式学习将成为突破口
谷歌AI负责人Jeff Dean 近日接受专访,讨论了2020 年机器学习领域趋势,他认为在规模更大的多任务学习和多模式学习方面,AI将取得新的里程碑。而正如谷歌在Transformer上的工作引领了NLP领域的发展,Jeff Dean认为应该将重点放在基础研究上。
189 0
Jeff Dean谈2020年机器学习趋势:多任务和多模式学习将成为突破口
哈佛、宾大等多所机构研究者联合综述:大规模预训练语言模型进展
本文介绍了一篇基于大规模预训练语言模型(PLM)来做 NLP 的综述论文。读者将从这篇论文中找到适合不同 NLP 任务的方法。
399 0
哈佛、宾大等多所机构研究者联合综述:大规模预训练语言模型进展

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等