【元学习meta-learning】通俗易懂讲解元学习以及与监督学习的区别

简介: 本文通过通俗易懂的方式解释了元学习(Meta-learning)的概念及其与传统监督学习的区别,并通过实例说明了元学习是如何让模型具备快速学习新任务的能力。

1 引言

人工智能技术有机器学习、深度学习、强化学习、元学习。元学习是其实是深度学习上的一个发展,为了解决小样本问题的,注意这是有区别机器学习和深度学习中的有监督学习的。
接下来举例来讲解Meta-learning是什么?怎么做?以及和机器学习或深度学习中的监督学习的区别

2 提出问题

请问:假设你有见过右边图片的动物是什么,现在给出左边四张图片,你能右边图片是什么动物吗?

1.png

毫无疑问,答案是穿山甲。因为我们都知道左边图片给出了穿山甲的图片以及名字。这就一个小样本学习的例子。仔细思考在这个过程中,我们自己的大脑做的工作是对比图片,找出最类似的图片,就是哪种动物。那如果用计算机去做这件事,就叫meta-learning。但是如果用机器学习的有监督学习的神经网络去做,那就需要大量的图片去训练,模型才能识别出图片中动物是什么。但这只有四张图片,是不可能训练处一个神经网络的。这就是与监督学习的一个最大的区别。

3 Few-shot learning小样本学习

在介绍Meta-learning之前,从简单例子入手。Few-shot learning意思是小样本学习,是Meta-learning中的一种。其中提供参考的图片集合叫Support Set。是在做预测的时候提供的额外信息。
小样本学习的目标不是让机器学习去识别数据集里的图片,而是让机器学习去学会区分事物之间的异同。简单来说,就是让机器学习出来的模型判断两张图片是不是同一种东西。

2.png

4 Meta-learning元学习

Meta-learning元学习(learn to learn),是指通过训练集去训练出一个有学习能力的函数或模型。举个例子,比如下朋友从来没有见过这种动物,但是他是有学习能力的,是有区分动物的能力,能够判断不同事物之间的异同。当给他一堆卡片,他就能识别出,当前的动物是对应图片里的哪种动物。

3.png

其中这一堆卡片就是Support set,教小朋友区分不同的动物,就是learn to learn,即Meta-learning。教小朋友学习的过程就是模型训练的过程。

4.png

5 如何通过机器学习学习出区分不同事物的能力?

就是如何教小男孩去学会去区分不同的动物?答:让机器学习学习出一个相似度函数。
如果给出以下三张图片作为数据集,那机器学习去做的事情就是去学习出一个相似度函数Sim,在以下图片中表示Sim(x1,X2)=1,Sim(x1,X3)=0,Sim(x2,X3)=0.那训练集就是{(Sim(x1,X2),1),(Sim(x1,X3),0),(SIm(X2,X3),0)}

5.png

在测试的时候,提供一个support set ,用上面机器学习学习到的相似度函数,分别计算图片与Support Set中每一张图片的相似度,以相似度最高的做出类别的输出。这就是整个Meta-learning的过程。

6.png

6 传统监督学习与小样本学习的区别

(1)在传统的监督学习中
为了识别右边的图片是什么,训练集中必须要有同类别成百上千张的图片数据。才能准确识别。

7.png

(2)在小样本学习中
如下所示,在训练集中是没有兔子类别的。这个数据集只是用来学习区分辨别能力的。

8.png

然后在预测的时候,用这个能力去Support set中去找出类似的图片,作为分类的结果

9.png

7 Meta-learning中相关概念

(1)在Support set中有两个变量
• k:k表示Support Set的总共类别
• n:表示每个类别的样本数
比如以下是有4个类别,每个类别有两个样本,称为4-way,2-shot

10.png

在分类任务中,准确率会受k,n两个变量影响,随着K的增大,准确率下降,因为,区分难度变大了。类似于给小男孩100张卡片,让他找出动物园看的某个动物,宝宝就不会做了或者出错概率大了。
随着n的增大,准确率上升,因为参考的资料更过了。

参考资料
Meta Learning(元学习)-Bilibili

目录
相关文章
|
机器学习/深度学习 人工智能 算法
Python 元学习实用指南:1~5(1)
Python 元学习实用指南:1~5(1)
304 1
|
机器学习/深度学习 人工智能 自然语言处理
视觉 注意力机制——通道注意力、空间注意力、自注意力
本文介绍注意力机制的概念和基本原理,并站在计算机视觉CV角度,进一步介绍通道注意力、空间注意力、混合注意力、自注意力等。
13001 58
|
安全 Linux iOS开发
Anaconda下载及安装保姆级教程(详细图文)
Anaconda下载及安装保姆级教程(详细图文)
34764 1
Anaconda下载及安装保姆级教程(详细图文)
|
算法 数据库 计算机视觉
Dataset之COCO数据集:COCO数据集的简介、下载、使用方法之详细攻略
Dataset之COCO数据集:COCO数据集的简介、下载、使用方法之详细攻略
|
10月前
|
机器学习/深度学习 存储 算法
DeepSeek元学习(Meta-Learning)基础与实践
元学习(Meta-Learning),又称“学会学习”,旨在通过少量数据或训练步骤使模型快速适应新任务。本文介绍如何使用DeepSeek构建和训练元学习模型,重点讲解基于优化的元学习方法MAML。我们从定义任务生成器、实现MAML算法到训练模型和快速适应新任务,提供了详细的代码示例和常见问题解决方案。通过本文,读者可以掌握元学习的基础与实践技巧,利用DeepSeek高效构建元学习模型。
|
10月前
|
机器学习/深度学习 存储 人工智能
使用DeepSeek进行元学习:训练模型快速适应新任务
本文介绍了如何使用DeepSeek框架实现元学习(Meta-Learning),特别是模型无关的元学习(MAML)。通过详细的代码示例,展示了从环境准备、数据生成、模型构建到MAML算法的具体实现步骤。最终,训练出的模型能够在新任务上快速适应并表现出色。元学习在数据量有限或任务不断变化的场景中具有重要应用价值。
|
10月前
|
机器学习/深度学习 存储 算法
近端策略优化(PPO)算法的理论基础与PyTorch代码详解
近端策略优化(PPO)是深度强化学习中高效的策略优化方法,广泛应用于大语言模型的RLHF训练。PPO通过引入策略更新约束机制,平衡了更新幅度,提升了训练稳定性。其核心思想是在优势演员-评论家方法的基础上,采用裁剪和非裁剪项组成的替代目标函数,限制策略比率在[1-ϵ, 1+ϵ]区间内,防止过大的策略更新。本文详细探讨了PPO的基本原理、损失函数设计及PyTorch实现流程,提供了完整的代码示例。
4265 10
近端策略优化(PPO)算法的理论基础与PyTorch代码详解
|
7月前
|
存储 人工智能 自然语言处理
为什么混合专家模型(MoE)如此高效:从架构原理到技术实现全解析
本文深入探讨了混合专家(MoE)架构在大型语言模型中的应用与技术原理。MoE通过稀疏激活机制,在保持模型高效性的同时实现参数规模的大幅扩展,已成为LLM发展的关键趋势。文章分析了MoE的核心组件,包括专家网络与路由机制,并对比了密集与稀疏MoE的特点。同时,详细介绍了Mixtral、Grok、DBRX和DeepSeek等代表性模型的技术特点及创新。MoE不仅解决了传统模型扩展成本高昂的问题,还展现出专业化与适应性强的优势,未来有望推动AI工具更广泛的应用。
3776 4
为什么混合专家模型(MoE)如此高效:从架构原理到技术实现全解析
|
机器学习/深度学习 存储 数据采集
【博士每天一篇文献-综述】A survey on few-shot class-incremental learning
本文是一篇关于少量样本增量学习(Few-shot Class-Incremental Learning, FSCIL)的综述,提出了一种新的分类方法,将FSCIL分为五个子类别,并提供了广泛的文献回顾和性能评估,讨论了FSCIL的定义、挑战、相关学习问题以及在计算机视觉领域的应用。
909 6

热门文章

最新文章