A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

简介: A Survey on Contrastive Self-Supervised Learning(对比式自监督学习研究)-----pretext tasks、Downstream task解释

摘要部分:

Self-supervised learning(自监督学习) has gained popularity because of its ability to avoid the cost of annotating(给…做注释) large-scale datasets. It is capable of adopting self-defined pseudolabels(伪标签) as supervision and use the learned representations(模型表示) for several downstream tasks. Specifically, contrastive learning has recently become a dominant component (重要的部分)in self-supervised learning for computer vision, natural language processing (NLP), and other domains(领域). It aims at embedding(把…嵌入) augmented(增强的) versions of the same sample close to each other while trying to push away embeddings from different samples. This paper provides an extensive review of self-supervised methods that follow the contrastive approach. The work explains commonly used pretext tasks(借口任务、代理任务) in a contrastive learning setup, followed by different architectures that have been proposed(提议) so far. Next, we present(可作提出) a performance comparison of different methods for multiple downstream tasks such as image classification, object detection, and action recognition. Finally, we conclude with the limitations of the current methods and the need for further techniques and future directions to make meaningful progress.

Keywords: contrastive learning; self-supervised learning; discriminative(有区别的) learning; image/video classification; object detection; unsupervised learning; transfer learning


翻译:自监督学习因为它可以避免给大规模数据做标注的成本而获得普及。它有能力采用自定义的伪标签做监督并使用学习好的模型表示几个下游任务。特别的,最近对比学习在自监督学习像计算机视觉、自然语言处理和其它领域已经是重要的组成部分。它旨在将相同样本的增强版本彼此靠近的嵌入,然后进一步推进不同样本的嵌入。这篇文章对遵循对比方法的自监督方法进行了广泛的回顾。这项工作解释了在对比学习程序中通常使用的代理任务,然后解释了到目前为止已经提出的不同的构架。接下来我们提出了几个下游任务的不同方法的性能比较,比如图像识别、物体检测、行为识别。最后,我们总结的当前方法的局限性和对未来技术和目标的需求,以取得有意义的进步。

关键词:对比学习、自监督学习、判别式学习、图像/视频分类、物体检测、无监督学习、迁移学习


名词理解:

pretext tasks:常被翻译为代理任务、借口任务。可以理解为是一种为达到特定训练任务而设计的间接任务。比如在训练神经网络时,我们需要自己设置一些参数的值,那么传统上我们会毫无目标的的随机进行设置,这样我们往往需要对参数进行大量的调整。但是我们现在拿出一部分数据先进行训练,得到一组参数的值,然后用这组参数的值作为初始值,那么在接下来的训练中往往大大减少了调整参数的工作量。这种有助于模型更好的执行目标任务的任务就称为pretext tasks。

Downstream task:常被翻译成下游任务,其就是利用预训练的模型在当前数据集的效果

相关文章
|
前端开发 JavaScript 网络协议
深入理解Python Web开发中的前后端分离与WebSocket实时通信技术
【7月更文挑战第18天】前后端分离采用Flask/Django框架,前端JavaScript框架如Vue.js与后端通过AJAX/Fetch通信。WebSocket提供实时双向通信,Python可借助websockets库或Flask-SocketIO实现。最佳实践包括定义清晰的接口规范,确保安全性(HTTPS,认证授权),优化性能,和健壮的错误处理。结合两者,打造高效实时应用。
388 1
|
算法 C语言
如何用C语言轻松判断回文数?
如何用C语言轻松判断回文数?
|
SQL 前端开发 安全
详细介绍前后端分离必备的接口规范,包括命名规范、参数规范、错误处理规范等
详细介绍前后端分离必备的接口规范,包括命名规范、参数规范、错误处理规范等
3766 1
|
JavaScript 前端开发
Moment.js与其他处理时间戳格式差异的JavaScript库相比有什么优势?
Moment.js与其他处理时间戳格式差异的JavaScript库相比有什么优势?
|
消息中间件 Linux
Linux IPC(进程间通信)管理:深入解析ipcs和ipcrm命令的用法与示例
在Linux操作系统中,进程间通信(IPC)是实现进程之间数据传递和同步的关键机制。Linux提供了多种IPC方式,如消息队列、信号量和共享内存等。为了优化系统性能与稳定性,及时管理和清理IPC资源非常重要。本文将深入介绍ipcs和ipcrm命令的使用方法,并给出丰富的示例,以帮助读者更好地理解IPC资源管理的实践技巧。
1629 1
|
人工智能 监控 数据可视化
智慧工地全套源代码 智慧工地信息化管理平台源码(PC端+移动端+可视化数据大屏端)
v智慧工地全套源代码 智慧工地信息化管理平台源码(PC端+移动端+可视化数据大屏端)
1081 2
|
机器学习/深度学习 算法 TensorFlow
【深度学习】基于卷积神经网络(tensorflow)的人脸识别项目(一)
【深度学习】基于卷积神经网络(tensorflow)的人脸识别项目(一)
566 0
【深度学习】基于卷积神经网络(tensorflow)的人脸识别项目(一)
|
XML PHP 数据安全/隐私保护
phpexcel中文教程-设置表格字体颜色背景样式、数据格式、对齐方式、添加图片、批注、文字块、合并拆分单元格、单元格密码保护
转:http://www.cnblogs.com/huangcong/p/3687665.html   首先到phpexcel官网上下载最新的phpexcel类,下周解压缩一个classes文件夹,里面包含了PHPExcel.
2192 0
|
安全 Python 容器
Python中好用的模块-collections
文章介绍了Python中collections模块的几个实用组件,包括Counter、defaultdict、OrderedDict、namedtuple、deque和ChainMap的功能与使用方法。
198 2
|
vr&ar 计算机视觉
REALY头部重建榜单冠军模型HRN解读【OpenVI—论文解读系列】
高保真 3D 头部重建在许多场景中都有广泛的应用,例如 AR/VR、医疗、电影制作等。尽管大量的工作已经使用 LightStage 等专业硬件实现了出色的重建效果,从单一或稀疏视角的单目图像估计高精细的面部模型仍然是一个具有挑战性的任务。 本文中,我们将介绍CVPR2023最新的头部重建论文,该工作在单图头部重建榜单REALY上取得正脸、侧脸双榜第一,并在其他多个数据集中取得了SOTA的效果。
936 6