伯克利AI研究所:新型元学习法MAML的前世今生。-阿里云开发者社区

开发者社区> 云栖大讲堂> 正文

伯克利AI研究所:新型元学习法MAML的前世今生。

简介:
+关注继续查看

雷锋网 AI科技评论按:伯克利AI研究所带来了他们的最新研究——未知模型元学习法(MAML)。它不会对模型的形式做任何假设,也没有为元学习引入额外的参数,极易应用于许多领域,包括分类、回归和强化学习。这种方法非常简单,并且优于已知的很多方法。

雷锋网(公众号:雷锋网) AI科技评论将其编译如下:

智能的一个关键层面是多才多艺——即拥有做许多不同事情的能力。目前的人工智能系统擅长掌握单一技能,如精通围棋的Go、深度回答能力超强的Watson,甚至还有自动控制直升机系统。但是,当你让人工智能系统去做不同种类看似简单的问题时,它就会举步维艰。在《Jeopardy》中的智力问答冠军Watson不能交谈,一个能熟练操控直升机飞行的系统不能应用于其他新的、简单的情形,比如为了扑灭火灾,进行定位、飞行和悬停操作。相比之下,人类可以做很多事,智能地适应各种新的、未曾看过的情形。怎样才能使人工智能变得像人一样多才多艺呢?

已经有了几种技术来解决上述问题,在这篇文章中,伯克利AI研究所评价了这些技术,同时讨论了他们针对上述问题的最新技术——未知模型元学习法(点击打开关于这个方法的论文以及代码)。

当前的AI系统能从零开始学习,花费大量的时间和经验掌握一项复杂的技能。但是,如果希望系统能够掌握许多技能并适应多种状况,从零开始逐个技能逐步训练的代价太大了。现在需要系统重用以前的经验,更快地学习新任务,而不是从头学习。这种方法叫学会学习或元学习,是通往全能型系统的关键踏脚石,这种通用系统在生命期内能从大量任务中持续不断地学习。

什么是学会学习,它现在都有哪些应用?

最早的元学习方法可以追溯到上世纪80年代末和90年代初,Jürgen Schmidhuber的论文、Yoshua和Samy Bengio的工作中都有提到。近年来,元学习成为热门话题,关于它的论文席卷而来。它最常用在这些地方:超参数和神经网络优化,发掘好的网络架构,小样本图像识别和快速的强化学习。

伯克利AI研究所:新型元学习法MAML的前世今生。

伯克利AI研究所:新型元学习法MAML的前世今生。

上图是几种常见的元学习方法

小样本学习

2015年,Brendan Lake等人发表了一篇论文,挑战了现代机器学习方法。他们指出机器可以通过一个概念中的单个或几个例子学会新的概念。例如,Lake认为人类可以只看到一张图片(如下图所示)就学会识别“新型双轮车”,而在这之前的机器则不能像人一样泛化概念。(对于从未见过的字母表中的字符,人类也可以在见过一个示例之后将它画出来)。

伯克利AI研究所:新型元学习法MAML的前世今生。

和论文一起,Lake还公布了Omniglot数据集,这个数据集是MNIST的“转置”,共计1623类字符,每类包含20个样本。很快,紧随2016年ICML的论文,出现了两种深度学习模型,它们使用的是记忆增强神经网络和顺序生成模型,这表明,深度模型通过少量例子学会学习是可能的,虽然还没有达到人类的水平。

目前元学习方法的工作原理

先是让系统接触大量的任务进行训练,然后再测试这个系统学习新任务的能力。比如会有这样的任务:要识别一张新图像是五个分类中的哪一个,每个分类只有一张示例图像;或学会在一次遍历之后高效的走出迷宫。这与许多标准的机器学习技术不同,它们的方法是在单个任务上进行训练,在任务中单独留出的样例中进行测试。

伯克利AI研究所:新型元学习法MAML的前世今生。

元学习过程中,在元训练集中训练模型学习任务。有两种优化在起作用——一种是学习器,它负责学习新任务;另一种是元学习器,它负责训练学习器。元学习的方法通常分为三类:循环模型、度量学习和学习优化器法。

循环模型

有一些做法可以训练出一个循环模型,例如LSTM网络,先是连续地接收数据集,然后处理来自目标任务的输入。对于图像识别来说,可能需要持续把数据集中成对的图像—标签对传递给网络,然后再传递要识别的新样例。

伯克利AI研究所:新型元学习法MAML的前世今生。

元学习器使用梯度下降法,而学习器只是简单地在循环网络中执行。这是最常见的方法之一,已经被用于小样本识别和回归、元强化学习。由于其灵活性,这种方法比其他方法(从元的角度)更低效,因为学习器网络需要从零开始找到学习策略。

度量学习

这种方法需要学习一个度量空间,在这个空间里学习特别高效。该方法主要用于小样本识别。直观地说,如果目标是从少量的样本图像中学习,那么有一种简单的方法是用已有的样本图像与试图识别的图像作比较。

但是,正如你可能想象的那样,在像素空间中比较图像不会起到很好的效果。你可以在一个训练好的度量空间里训练孪生网络或执行比较。与以前的方法一样,元学习使用梯度下降法(或你偏好的神经网络优化器),鉴于学习器扮演的角色是元训练度量空间中的对比体系,例如近邻算法。这些方法可以很好地用于小样本识别,即使在回归或强化学习等其他元学习领域尚未证实有同样的效果。

学习优化器法

最后一个方法是学习优化器法。在这种方法中,一个网络(元学习器)学习更新另一个网络(学习器),以便学习器高效地学习任务。为了更好地优化神经网络,人们对这种方法进行了广泛的研究。元学习器通常是循环网络,以便记住之前是如何校正学习器模型的。元学习器可以用强化学习或监督学习的方式来训练。Ravi和Larochelle最近演示了这种方法用于小样本图像识别的优点,提出了这样的观点:学习器模型也是一种需要学习的优化过程。

像元学习一样学会初始化

可以证明,目前为止,迁移学习最大的成果是用ImageNet预训练来初始化视觉网络权重。特别是,当处理新的视觉任务时,众所周知的范式是首先为任务收集带标签的数据集,得到预训练过的ImageNet分类器,然后利用梯度下降法,基于采集到的数据来微调网络。使用这种方法,神经网络可以更有效地从更少的数据集中学习新的基于图像的任务。

然而,预训练的效果也就这样。因为网络的最底层仍然需要高度适应新的任务,像小样本学习那样太小的数据集仍会造成严重的过拟合。此外,遗憾的是现在在语音、语言和控制等非视觉领域没有类似的预训练体系。从微调的方法既然取得了这么好得效果,有什么可以借鉴的吗?

未知模型元学习法(Model-Agnostic Meta-Learning ,MAML)

需要找到能够根据少量样本高效地进行微调的表征,那么有没有可能直接对初始表征做优化呢?这是伯克利AI研究所最近提出的未知模型元学习法(MAML)背后的想法。和其他元学习法一样,MAML能在大量不同的任务上训练,通过少量的梯度步骤,能快速得到适应新任务的表征。

元学习器试图找到一个初始值,不仅可以适应各种问题,而且可以快速(只需少量步骤)高效(只使用几个例子)地适应。下面是一个可视化图–假设我们正试图寻找一组具有高度适应性的参数θ,在元学习过程中(粗线),MAML优化一组参数,以便当执行关于某个任务i(灰线)的梯度步骤时,参数接近i任务的最优参数θi*。

 伯克利AI研究所:新型元学习法MAML的前世今生。

这种方法非常简单,并且有许多优点。它不会对模型的形式做任何假设。它相当有效——没有为元学习引入额外的参数,并且使用已知的优化过程(梯度下降法),而不是必须从零开始想出策略。最后,它极易应用于许多领域,包括分类、回归和强化学习。

尽管这种方法很简单,令人惊讶的是,它在流行的小样本图像识别基准、Omniglot和MiniImageNet2上优于现在的许多方法,包括更复杂的或适用于特定领域的方法。

除了识别之外,他们还试图学习如何让模拟机器人的行为适应不同的目标,这类似于文章最开始提到多才多艺性。为此,他们将MAML与强化学习中的策略梯度方法结合。通过MAML可以学到一种策略,它可以让模拟机器人在单一的梯度更新中适应移动方向和速度。请看如下视频:伯克利AI研究所:新型元学习法MAML的前世今生。 

MAML on HalfCheetah

伯克利AI研究所:新型元学习法MAML的前世今生。

MAML on Ant

该方法的泛化性——它可以与任何足够平滑的模型结合,这样就可以用基于梯度的方法进行优化了——这使得MAML不只适用于本文中探讨的案例,还适用于广泛的领域和学习目标。

MAML方法能够有效教会系统适应不同场景,他们也希望这能有助于更快地开发出能够在现实世界中学到多种技能的多功能人工智能。

via:bair.berkeley.edu/blog

雷锋网 AI科技评论编译

本文作者:思颖

本文转自雷锋网禁止二次转载,原文链接

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
3999 0
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
22515 0
怎么设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程
6351 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7576 0
阿里云服务器安全组设置内网互通的方法
虽然0.0.0.0/0使用非常方便,但是发现很多同学使用它来做内网互通,这是有安全风险的,实例有可能会在经典网络被内网IP访问到。下面介绍一下四种安全的内网互联设置方法。 购买前请先:领取阿里云幸运券,有很多优惠,可到下文中领取。
9307 0
阿里云服务器远程登录用户名和密码的查询方法
阿里云服务器远程连接登录用户名和密码在哪查看?阿里云服务器默认密码是什么?云服务器系统不同默认用户名不同
71 0
如何设置阿里云服务器安全组?阿里云安全组规则详细解说
阿里云安全组设置详细图文教程(收藏起来) 阿里云服务器安全组设置规则分享,阿里云服务器安全组如何放行端口设置教程。阿里云会要求客户设置安全组,如果不设置,阿里云会指定默认的安全组。那么,这个安全组是什么呢?顾名思义,就是为了服务器安全设置的。安全组其实就是一个虚拟的防火墙,可以让用户从端口、IP的维度来筛选对应服务器的访问者,从而形成一个云上的安全域。
3803 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
710 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
2901 0
+关注
云栖大讲堂
擅长前端领域,欢迎各位热爱前端的朋友加入我们( 钉钉群号:23351485)关注【前端那些事儿】云栖号,更多好文持续更新中!
3892
文章
1754
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载