A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

简介: A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

摘要部分:

Self-supervised learning(自监督学习) has gained popularity because of its ability to avoid the cost of annotating(给…做注释) large-scale datasets. It is capable of adopting self-defined pseudolabels(伪标签) as supervision and use the learned representations(模型表示) for several downstream tasks. Specifically, contrastive learning has recently become a dominant component (重要的部分)in self-supervised learning for computer vision, natural language processing (NLP), and other domains(领域). It aims at embedding(把…嵌入) augmented(增强的) versions of the same sample close to each other while trying to push away embeddings from different samples. This paper provides an extensive review of self-supervised methods that follow the contrastive approach. The work explains commonly used pretext tasks(借口任务、代理任务) in a contrastive learning setup, followed by different architectures that have been proposed(提议) so far. Next, we present(可作提出) a performance comparison of different methods for multiple downstream tasks such as image classification, object detection, and action recognition. Finally, we conclude with the limitations of the current methods and the need for further techniques and future directions to make meaningful progress.

Keywords: contrastive learning; self-supervised learning; discriminative(有区别的) learning; image/video classification; object detection; unsupervised learning; transfer learning


翻译:自监督学习因为它可以避免给大规模数据做标注的成本而获得普及。它有能力采用自定义的伪标签做监督并使用学习好的模型表示几个下游任务。特别的,最近对比学习在自监督学习像计算机视觉、自然语言处理和其它领域已经是重要的组成部分。它旨在将相同样本的增强版本彼此靠近的嵌入,然后进一步推进不同样本的嵌入。这篇文章对遵循对比方法的自监督方法进行了广泛的回顾。这项工作解释了在对比学习程序中通常使用的代理任务,然后解释了到目前为止已经提出的不同的构架。接下来我们提出了几个下游任务的不同方法的性能比较,比如图像识别、物体检测、行为识别。最后,我们总结的当前方法的局限性和对未来技术和目标的需求,以取得有意义的进步。

关键词:对比学习、自监督学习、判别式学习、图像/视频分类、物体检测、无监督学习、迁移学习


名词理解:

pretext tasks:常被翻译为代理任务、借口任务。可以理解为是一种为达到特定训练任务而设计的间接任务。比如在训练神经网络时,我们需要自己设置一些参数的值,那么传统上我们会毫无目标的的随机进行设置,这样我们往往需要对参数进行大量的调整。但是我们现在拿出一部分数据先进行训练,得到一组参数的值,然后用这组参数的值作为初始值,那么在接下来的训练中往往大大减少了调整参数的工作量。这种有助于模型更好的执行目标任务的任务就称为pretext tasks。

Downstream task:常被翻译成下游任务,其就是利用预训练的模型在当前数据集的效果

目录
打赏
0
0
0
0
78
分享
相关文章
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
本文提出了一种基于元学习的跨域终身学习框架,通过跨域三元组网络(CDTN)学习任务间的相似性表示,并结合自注意模块与软注意网络(SAN)来增强特征提取和任务权重分配,以提高学习效率并减少对先前知识的遗忘。
61 1
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
基于深度学习的目标检测的介绍(Introduction to object detection with deep learning)
基于深度学习的目标检测的介绍(Introduction to object detection with deep learning)
61 0
【博士每天一篇文献-综述】A survey on few-shot class-incremental learning
本文是一篇关于少量样本增量学习(Few-shot Class-Incremental Learning, FSCIL)的综述,提出了一种新的分类方法,将FSCIL分为五个子类别,并提供了广泛的文献回顾和性能评估,讨论了FSCIL的定义、挑战、相关学习问题以及在计算机视觉领域的应用。
209 5
【博士每天一篇文献-算法】iCaRL_ Incremental Classifier and Representation Learning
本文介绍了iCaRL算法,一种增量分类器和表示学习系统,它能够逐步从数据流中学习新概念,通过使用最近均值示例规则、基于牧羊的样本选择和知识蒸馏等方法,在CIFAR-100和ImageNet数据集上展示了其优越的逐步学习能力和对灾难性遗忘的有效抵抗。
92 0
【论文精读】COLING 2022-KiPT: Knowledge-injected Prompt Tuning for Event Detection
事件检测旨在通过识别和分类事件触发词(最具代表性的单词)来从文本中检测事件。现有的大部分工作严重依赖复杂的下游网络,需要足够的训练数据。
194 0
【论文精读】COLING 2022-KiPT: Knowledge-injected Prompt Tuning for Event Detection
SimCSE: Simple Contrastive Learning of Sentence Embeddings论文解读
本文介绍了SimCSE,一个简单的对比学习框架,极大地推进了最先进的句子嵌入。我们首先描述了一种无监督方法,该方法采用一个输入句子,并在一个对比目标中预测自己
346 0
【推荐系统论文精读系列】(十一)--DeepFM A Factorization-Machine based Neural Network for CTR Prediction
在推荐系统领域最大化CTR最关键就是要学习用户举止背后复杂的特征交互。尽管现在已经有了一些大的进展,但是现存的方式仍然是只能捕捉低阶或者高阶特征,或者需要专业的特征工程。本篇论文中,我们提出了一种端到端的学习模型,能够同时学习到低阶和高阶的交互特征。我们将这个模型命名为DeepFM,它结合了分解机的能力和深度学习捕捉高阶特征的能力。对比最新谷歌提出的Wide & Deep模型,我们的DeepFM模型不需要任何特征工程,而且会共享特征输入。
284 0
【推荐系统论文精读系列】(六)--Field-aware Factorization Machines for CTR Prediction
点击率预测发挥了很大的作用在计算广告领域。针对这个任务,POLY2和FMs被广泛的应用。最近一个FMs的变体FFM,它的表现已经超过了现有的一些模型。基于我们赢得了两次比赛的胜利,本篇论文我们已经建立了一个有效的方式对于阐述现有的大型稀疏矩阵。首先,我们提出一些FFMs的训练实现方式。然后我们深刻分析了FFMs并且对比了这个方法与其它模型。经验表明FFMs是非常有用的对于某些分类问题,最后,我们已经发布了开源的FFMs供大家使用。
199 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等