自监督为何有效?243页普林斯顿博士论文「理解自监督表征学习」,全面阐述对比学习、语言模型和自我预测三类方法

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: 自监督为何有效?243页普林斯顿博士论文「理解自监督表征学习」,全面阐述对比学习、语言模型和自我预测三类方法



 新智元报道  

作者:专知
编辑:好困

【新智元导读】虽然监督学习引发了深度学习的繁荣,但它有一些关键的缺点:(1)它需要大量昂贵的标记数据,(2)它从头开始解决任务,而不是像人类那样利用从先前经验中获得的知识和技能。


预训练已成为一种替代和有效的范式,以克服这些缺点,其中模型首先使用容易获得的数据进行训练,然后用于解决感兴趣的下游任务,标记数据比监督学习少得多。

使用未标记数据进行预训练,即自监督学习,尤其具有革命性,在不同领域取得了成功:文本、视觉、语音等。这就提出了一个有趣且具有挑战性的问题:为什么对未标记数据进行预训练应该有助于看似不相关的下游任务?

论文地址:https://dataspace.princeton.edu/handle/88435/dsp01t435gh21h本文提出了一些工作,提出并建立了一个理论框架,以研究为什么自监督学习对下游任务有益。该框架适用于对比学习、自回归语言建模和基于自我预测的方法。该框架的核心思想是预训练有助于学习数据的低维表示,这随后有助于用线性分类器解决感兴趣的下游任务,需要较少的标记数据。一个常见的主题是形式化用于构建自监督学习任务的无标记数据分布的理想属性。在适当的形式化下,可以表明,近似最小化正确的预训练目标可以提取在无标记数据分布中隐式编码的下游信号。最后表明,该信号可以用线性分类器从学习到的表示中解码,从而为跨任务的「技能和知识」迁移提供了一种形式化。

引言

在寻求设计智能体和数据驱动的问题解决方案的过程中,机器学习和人工智能领域在过去十年中取得了巨大的进步。随着在具有挑战性的监督学习基准上的初步成功,如ImageNet[Deng等人,2009],深度学习的创新随后导致模型在不同领域的许多此类基准上具有超人的性能。训练这种特定于任务的模型当然令人印象深刻,并具有巨大的实用价值。然而,它有一个重要的限制,即需要大量的标记或标注数据集,而这通常是昂贵的。此外,从智能的角度来看,人们希望有更通用的模型,就像人类一样[Ahn和Brewer, 1993],可以从以前的经验中学习,将它们总结为技能或概念,并利用这些技能或概念来解决新任务,很少或没有演示。毕竟,在没有明确监督的情况下,婴儿通过观察和互动来学习很多东西。这些局限性启发了预训练的另一种范式。本文的重点是使用通常大量可用的未标记数据进行预训练。使用未标记数据的想法一直是机器学习的兴趣点,特别是通过无监督学习和半监督学习。使用深度学习对其进行的现代适应通常称为自监督学习(SSL),并已经开始通过对比学习和语言建模等思想改变机器学习和人工智能的格局。自监督学习的思想是仅使用未标记的数据构建某些任务,并训练模型在构建的任务上表现良好。这类任务通常需要模型通过从观察到的或保留的部分预测输入的未观察到的或隐藏的部分(或属性)来编码数据的结构属性[LeCun和Misra, 2021]。自监督学习在许多感兴趣的下游任务上显示出了通用性和实用性,通常比从头解决任务具有更好的样本效率,从而使我们离通用智能体的目标更近了一步。事实上,最近,像GPT-3 [Brown等人,2020]等大型语言模型已经展示了大规模出现的令人着迷的「突发行为」,引发了人们对自监督预训练想法的更多兴趣。尽管自监督学习在经验上取得了成功,并继续显示出巨大的前景,但除了粗略的直觉之外,仍然缺乏对其工作原理的良好理论理解。这些令人印象深刻的成功提出了有趣的问题,因为先验不清楚为什么在一个任务上训练的模型应该有助于另一个看似不相关的任务,即为什么在任务a上训练应该有助于任务b。虽然对SSL(和一般的深度学习)的完整理论理解是具有挑战性和难以实现的,但在任何抽象层次上理解这种现象都可能有助于开发更有原则的算法。本文的研究动机是:

为什么在自监督学习任务上进行训练(使用大量未标记数据)有助于解决数据稀缺的下游任务?如何将「知识和技能」的迁移正式化?

虽然有大量关于监督学习的文献,但来自SSL任务→下游任务的泛化与监督学习中来自训练集→测试集的泛化有本质的不同。对于分类下游任务的监督学习,例如,从未知分布中采样的在输入-标签对的训练集上训练的模型,可以直接用于对从相同分布中采样的未见过的测试集的评估。这个基本的分布建立了从训练集到测试集的联系。然而,从SSL任务→下游任务的概念连接就不那么清晰了,因为SSL任务中使用的未标记数据没有关于下游标签的明确信号。这意味着在SSL任务上预训练的模型(例如,从其余部分预测输入的一部分)不能直接用于下游任务(例如,从输入预测类别标签)。因此,「知识和技能」的迁移需要使用一些标记数据进行额外的训练步骤,理想情况下比从头开始监督学习所需的少。对SSL任务→下游任务泛化的任何理论理解都需要解决这些问题:「未标记数据的内在作用是什么?以及「如何将预训练模型用于下游任务?」本文针对分类的下游任务,通过对无标签数据进行分布假设,并利用表示学习的思想,研究这些问题:(a)(分布假设)未标记的数据分布隐含地包含有关感兴趣的下游分类任务的信息。(b)(表示学习)在适当的SSL任务上预训练的模型可以通过学习到的表示对该信号进行编码,这些表示随后可以用线性分类器解决下游分类任务。点(a)表明,未标记的某些结构属性隐式地为我们提供了有关后续下游任务的提示,而自监督学习可以帮助从数据中梳理出这个信号。点(b)提出了一种简单且经验上有效的方法来使用预训练模型,利用模型的学习表示。本文识别并在数学上量化了未标记数据的分布属性,对于不同的SSL方法,如对比学习、语言建模和自我预测,可以证明可以学习到良好的表示。在下一节中,我们将深入研究表示学习的思想,并形式化解释为什么自监督学习有助于下游任务。参考资料:https://dataspace.princeton.edu/handle/88435/dsp01t435gh21h

相关文章
|
8月前
情感理论模型
情感理论模型
322 0
|
3月前
|
机器学习/深度学习 人工智能
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念对齐人类
【10月更文挑战第18天】这篇论文提出了一种名为AligNet的框架,旨在通过将人类知识注入神经网络来解决其与人类认知的不匹配问题。AligNet通过训练教师模型模仿人类判断,并将人类化的结构和知识转移至预训练的视觉模型中,从而提高模型在多种任务上的泛化能力和稳健性。实验结果表明,人类对齐的模型在相似性任务和出分布情况下表现更佳。
80 3
|
3月前
|
机器学习/深度学习 人工智能 算法
【大语言模型-论文速读】GPT的不确定性判断
【大语言模型-论文速读】GPT的不确定性判断
51 0
|
6月前
|
机器学习/深度学习 数据采集 搜索推荐
打开黑盒神经网络!港大推出全新会说话的推荐系统大模型XRec,从黑盒预测到可解释
【7月更文挑战第2天】港大研发XRec模型,将可解释性引入推荐系统。XRec结合大型语言模型的语义理解与协同过滤,生成推荐的文本解释,提升透明度。该模型无关设计允许与各类推荐系统配合,增强用户体验。然而,计算资源需求高、数据质量和用户理解能力可能影响其效果。[查看论文](https://arxiv.org/pdf/2406.02377)**
80 11
|
6月前
|
机器学习/深度学习
ICML 2024:揭示非线形Transformer在上下文学习中学习和泛化的机制
【7月更文挑战第10天】Rensselaer Polytechnic Institute和IBM的研究者探讨了非线性Transformer在上下文学习的理论基础。他们展示了Transformer如何通过注意力层聚焦相关上下文,并利用MLP层进行预测,揭示了其在不需微调情况下的泛化能力。尽管研究局限于二进制分类和单层模型,它为理解复杂模型在不同任务和领域的潜在适应性提供了新视角。[论文链接:](https://arxiv.org/pdf/2402.15607)**
51 1
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
论文介绍:自我对弈微调——将弱语言模型转化为强语言模型的新方法
【5月更文挑战第17天】论文《自我对弈微调》提出了一种新方法,名为SPIN,用于在无需额外人工标注数据的情况下增强大型语言模型(LLM)。SPIN利用自我对弈机制,让模型通过与自身历史版本交互生成自我训练数据,实现性能提升。该方法在多个基准数据集上表现出色,超越了传统监督微调和直接偏好优化。SPIN还为生成对抗网络研究提供了新思路,展示了自我对弈在强化学习和深度学习中的潜力。实验表明,SPIN有效提升了模型性能,为未来研究奠定了基础。[[arxiv](https://arxiv.org/abs/2401.01335v1)]
74 3
|
8月前
|
机器学习/深度学习 编解码 PyTorch
复旦大学提出SemiSAM | 如何使用SAM来增强半监督医学图像分割?这或许是条可行的路
复旦大学提出SemiSAM | 如何使用SAM来增强半监督医学图像分割?这或许是条可行的路
250 0
|
定位技术 uml
认知科学建模研究、认知神经科学的限制:建模笔记翻译(3)
认知科学建模研究、认知神经科学的限制:建模笔记翻译(3)
96 0
|
自然语言处理 算法
论文赏析[NAACL19]基于DIORA的无监督隐式句法树归纳(一)
今天要分享的这篇论文来自NAACL2019,主要利用inside-outside算法推理出给定句子的句法树,不需要任何的监督,也不需要下游任务作为目标函数,只需要masked语言模型就行了。
477 0
论文赏析[NAACL19]基于DIORA的无监督隐式句法树归纳(一)
|
机器学习/深度学习 自然语言处理 算法
论文赏析[NAACL19]基于DIORA的无监督隐式句法树归纳(二)
今天要分享的这篇论文来自NAACL2019,主要利用inside-outside算法推理出给定句子的句法树,不需要任何的监督,也不需要下游任务作为目标函数,只需要masked语言模型就行了。
470 0
论文赏析[NAACL19]基于DIORA的无监督隐式句法树归纳(二)

热门文章

最新文章