A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

简介: A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

摘要部分:

Self-supervised learning(自监督学习) has gained popularity because of its ability to avoid the cost of annotating(给…做注释) large-scale datasets. It is capable of adopting self-defined pseudolabels(伪标签) as supervision and use the learned representations(模型表示) for several downstream tasks. Specifically, contrastive learning has recently become a dominant component (重要的部分)in self-supervised learning for computer vision, natural language processing (NLP), and other domains(领域). It aims at embedding(把…嵌入) augmented(增强的) versions of the same sample close to each other while trying to push away embeddings from different samples. This paper provides an extensive review of self-supervised methods that follow the contrastive approach. The work explains commonly used pretext tasks(借口任务、代理任务) in a contrastive learning setup, followed by different architectures that have been proposed(提议) so far. Next, we present(可作提出) a performance comparison of different methods for multiple downstream tasks such as image classification, object detection, and action recognition. Finally, we conclude with the limitations of the current methods and the need for further techniques and future directions to make meaningful progress.

Keywords: contrastive learning; self-supervised learning; discriminative(有区别的) learning; image/video classification; object detection; unsupervised learning; transfer learning


翻译:自监督学习因为它可以避免给大规模数据做标注的成本而获得普及。它有能力采用自定义的伪标签做监督并使用学习好的模型表示几个下游任务。特别的,最近对比学习在自监督学习像计算机视觉、自然语言处理和其它领域已经是重要的组成部分。它旨在将相同样本的增强版本彼此靠近的嵌入,然后进一步推进不同样本的嵌入。这篇文章对遵循对比方法的自监督方法进行了广泛的回顾。这项工作解释了在对比学习程序中通常使用的代理任务,然后解释了到目前为止已经提出的不同的构架。接下来我们提出了几个下游任务的不同方法的性能比较,比如图像识别、物体检测、行为识别。最后,我们总结的当前方法的局限性和对未来技术和目标的需求,以取得有意义的进步。

关键词:对比学习、自监督学习、判别式学习、图像/视频分类、物体检测、无监督学习、迁移学习


名词理解:

pretext tasks:常被翻译为代理任务、借口任务。可以理解为是一种为达到特定训练任务而设计的间接任务。比如在训练神经网络时,我们需要自己设置一些参数的值,那么传统上我们会毫无目标的的随机进行设置,这样我们往往需要对参数进行大量的调整。但是我们现在拿出一部分数据先进行训练,得到一组参数的值,然后用这组参数的值作为初始值,那么在接下来的训练中往往大大减少了调整参数的工作量。这种有助于模型更好的执行目标任务的任务就称为pretext tasks。

Downstream task:常被翻译成下游任务,其就是利用预训练的模型在当前数据集的效果

相关文章
|
机器学习/深度学习 自然语言处理 算法
【论文精读】COLING 2022-KiPT: Knowledge-injected Prompt Tuning for Event Detection
事件检测旨在通过识别和分类事件触发词(最具代表性的单词)来从文本中检测事件。现有的大部分工作严重依赖复杂的下游网络,需要足够的训练数据。
202 0
【论文精读】COLING 2022-KiPT: Knowledge-injected Prompt Tuning for Event Detection
|
网络架构 计算机视觉
论文笔记之:Pedestrian Detection aided by Deep Learning Semantic Tasks
Pedestrian Detection aided by Deep Learning Semantic Tasks CVPR 2015 本文考虑将语义任务(即:行人属性和场景属性)和行人检测相结合,以语义信息协助进行行人检测。
论文阅读之: Hierarchical Object Detection with Deep Reinforcement Learning
Hierarchical Object Detection with Deep Reinforcement Learning NIPS 2016 WorkShop      Paper : https://arxiv.
|
10月前
|
自然语言处理 数据格式
【ChatIE】论文解读:Zero-Shot Information Extraction via Chatting with ChatGPT
【ChatIE】论文解读:Zero-Shot Information Extraction via Chatting with ChatGPT
199 1
|
机器学习/深度学习 存储 人工智能
Zero-Shot, One-Shot, and Few-Shot Learning概念介绍
Zero-Shot, One-Shot, and Few-Shot Learning概念介绍
7358 0
|
机器学习/深度学习 自然语言处理 算法
【论文泛读】 知识蒸馏:Distilling the knowledge in a neural network
【论文泛读】 知识蒸馏:Distilling the knowledge in a neural network
【论文泛读】 知识蒸馏:Distilling the knowledge in a neural network
|
7月前
|
存储 算法 计算机视觉
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
本文提出了一种基于元学习的跨域终身学习框架,通过跨域三元组网络(CDTN)学习任务间的相似性表示,并结合自注意模块与软注意网络(SAN)来增强特征提取和任务权重分配,以提高学习效率并减少对先前知识的遗忘。
65 1
【博士每天一篇文献-模型】Meta-Learning Based Tasks Similarity Representation for Cross Domain Lifelong Learning
|
机器学习/深度学习 人工智能 搜索推荐
【推荐系统论文精读系列】(十五)--Examples-Rules Guided Deep Neural Network for Makeup Recommendation
在本文中,我们考虑了一个全自动补妆推荐系统,并提出了一种新的例子-规则引导的深度神经网络方法。该框架由三个阶段组成。首先,将与化妆相关的面部特征进行结构化编码。其次,这些面部特征被输入到示例中——规则引导的深度神经推荐模型,该模型将Before-After图像和化妆师知识两两结合使用。
183 0
【推荐系统论文精读系列】(十五)--Examples-Rules Guided Deep Neural Network for Makeup Recommendation
|
机器学习/深度学习 数据挖掘
论文笔记之:Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach
Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach  2017.11.28    Introduction:   人脸属性的识别在社会交互,提供了非常广泛的信息,包括:the person’s ...
论文笔记之:Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation
Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation   xx