从单个示例学习计算任务,Amazon元学习让ML专才变通才

简介: 当前深度学习应用范围很窄,一个任务训练出来的算法无法完成别的任务。Amazon团队调整新的元学习流程,使ML专才变通才。

微信图片_20220108182107.png


一般DL应用范围狭窄


在过去的十年中,深度学习系统在许多人工智能任务中已被证明非常成功,但是它们的应用范围很狭窄。例如,一个经过训练可以识别猫和狗的计算机视觉系统,仍将需要大量训练才能开始分得清鲨鱼和海龟。


一般的机器学习旨在用大量相同数据进行训练以提高识别准确度。与合成环境相反,现实生活中的学习经历是多种多样、非常混杂的,因为它们所用的类别(class)的数量和每个类别中的实例数目也不同。


微信图片_20220108182111.jpg

 

现实中的学习还只衡量语料库内的归纳,而在形成情节(episode)时忽略了类之间的关系,比如,区分狗和椅子的难度和区分不同狗的品种之间的难度肯定不同。(Episode指的是RL中agent在环境里面执行某个策略从开始到结束的一整个过程。)

 

元学习使ML从专才转变为通才


元学习是一种旨在将机器学习系统转变为通才的范例。元学习既包括实现相关目标,又要学习如何执行这些目标。


微信图片_20220108182113.jpg


在预定于即将举行的国际学习表示会议上发表的一篇论文中,亚马逊研究人员提出了一种在不增加数据标注要求的情况下提高元学习任务性能的方法。

 

关键思想是调整元学习过程,以便除了传统的标记示例外,它还可以利用少量的未标记数据集。

 

凭直觉,我们认为,即使没有标签,这些额外的数据仍然包含许多有用的信息。例如,假设正在对陆生动物(例如猫和狗)的图像进行训练的元学习系统正在被用来识别水生动物。未贴标签的水生动物图像(即不表示动物是鲨鱼还是海龟的图像)仍可以告诉模型有关学习任务的信息,例如水下照片的光照条件和背景颜色。

 

来康康元学习的流程有何独特之处


元学习研究人员通常将元学习的“培训”集称为支持集(support sets),将元学习“测试”集称为查询集(query sets)。


在传统的机器学习中,模型由一组标记的数据(支持集)训练,并学习将特征与标签相关联。然后,它会馈入单独的一组测试数据(一个查询集),并评估其对数据标签的预测程度。为了进行评估,系统设计者可以访问测试数据标签,而模型本身则不能。


微信图片_20220108182116.jpg

 

元学习增加了另一层复杂性。在元学习的第一阶段“元训练” (与传统训练类似)中,模型学习执行一系列相关任务。每个任务都有自己的训练数据和测试数据集,并且模型可以同时看到这两者。这样一来,AI就可以了解响应训练数据的不同方式是如何影响测试数据性能的。

 

在第二阶段“元测试”中,它将再次接受一系列任务的训练,这些与在元训练中看到的任务相关但不完全相同,例如,从识别陆生动物调整到识别水生动物。同样,对于每个任务,模型都可以看到训练数据和测试数据。但是,尽管在元训练期间,测试数据被标记,但是在元测试期间,标记是未知的,模型必须自己进行预测。

 

在元训练阶段,算法可以访问支持集和查询集的标签,并使用它们来生成全局模型。在元测试阶段,它只能访问支持集的标签、而不能访问查询集的标签,目的在于使全局模型适应每个新任务。


微信图片_20220108182119.png

 

方法中的两个关键创新


首先,在元训练期间,我们不会学习单个全局模型。取而代之的是,我们训练一个辅助神经网络,以基于相应的支持集为每个任务生成局部模型。

 

其次,更重要的是,在元训练期间,我们还训练了第二个辅助网络,以利用查询集的未标记数据。然后,在元测试期间,我们可以使用查询集微调局部模型,从而提高性能。

 

实验结果

 

在实验中,我们将通过我们的方法训练的模型与对象识别元学习任务上的16个不同基线进行了比较。我们发现,根据基础神经网络的体系结构,我们的方法可将一次性学习或仅从一个带标签的示例中学习新的对象分类任务的性能提高11%至16%。

 

经过实验,他们的系统打败了一次学习(one-shot learning)任务的16种基准。根据基础神经网络的体系结构,他们的方法可将一次学习、或仅从一个带标签示例中学习新的对象分类任务的性能提高11%到16%,具体取决于基础AI模型的架构。

 

即便如此,在五次学习或每个新任务有五个示例的学习中,有几个基准优于模型。研究人员认为,这些基准是他们方法的补充,他们认为组合方法可以降低错误率。这将是他们下一步工作的方向之一。

 

 

更多信息请看参考链接:

 

关联的软件代码也已开源,放在Xfer存储库中:

https://github.com/amzn/xfer


从单个示例学习计算任务

https://www.amazon.science/blog/learning-computational-tasks-from-single-examples

 

研究人员提出数据集来衡量几次学习成绩

https://venturebeat.com/2020/02/20/researchers-propose-data-set-to-measure-few-shot-learning-performance/

 

亚马逊的AI使用元学习来完成相关任务

https://venturebeat.com/2020/04/09/amazons-ai-taps-meta-learning-techniques-to-accomplish-related-tasks/

相关文章
|
人工智能 自然语言处理 自动驾驶
Prompt入门到进阶
本文介绍了如何有效利用AI工具,特别是ChatGPT,通过优化提问技巧来获得更高质量的答案。首先阐述了AI工具在各行业的广泛应用,并强调了良好提问的重要性。接着,文章详细解释了提问的基本原则——CLAR原则(明确、合乎逻辑、准确、相关),以及更高级的LACES模型(增加限定条件、分配角色、提供背景、给出示例、拆分任务)。通过案例演示,展示了如何运用这些原则和模型撰写书籍的不同章节。最后,文章总结了设计高效提示的关键要素,并鼓励读者通过实践来提升与AI交互的能力,从而在工作和生活中获得更高的效率和创新。
557 1
|
人工智能 物联网 云计算
|
消息中间件 JavaScript 前端开发
【JavaScript-BOM】this指向,同步异步问题
【JavaScript-BOM】this指向,同步异步问题
268 0
【JavaScript-BOM】this指向,同步异步问题
Blockchain合约跟单系统开发项目方案丨(成熟技术)
Blockchain合约跟单系统开发项目方案丨(成熟技术)
314 0
|
13天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
5391 40
|
13天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
4750 54
|
7天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
1925 5

热门文章

最新文章