旅途中的宽~_社区达人页

2023年07月

• 07.18 12:25:25
  发表了文章 2023-07-18 12:25:25

  【计算机视觉】Grounded Language-Image Pre-training

  这篇论文做的任务是phrase grounding，属于Visual grounding的一种。phrase grounding的任务是输入句子和图片，将句子中提到的物体都框出来。
• 07.18 12:20:04
  发表了文章 2023-07-18 12:20:04

  【计算机视觉】多模态的理解

  多模态指的是多种模态的信息，包括：文本、图像、视频、音频等。
• 07.18 12:11:16
  发表了文章 2023-07-18 12:11:16

  【计算机视觉】MDETR - Modulated Detection for End-to-End Multi-Modal Understanding

  对于图像模型，MDETR采用的是一个CNN backbone来提取视觉特征，然后加上二维的位置编码；对于语言模态，作者采用了一个预训练好的Transformer语言模型来生成与输入值相同大小的hidden state。然后作者采用了一个模态相关的Linear Projection将图像和文本特征映射到一个共享的embedding空间。 接着，将图像embedding和语言embedding进行concat，生成一个样本的图像和文本特征序列。这个序列特征首先被送入到一个Cross Encoder进行处理，后面的步骤就和DETR一样，设置Object Query用于预测目标框。
• 07.18 09:51:51
  发表了文章 2023-07-18 09:51:51

  【计算机视觉】Zero-shot, One-shot和Few-shot

  机器学习任务按照对 **样本量** 的需求可以分为：传统监督式学习、Few-shot Learning、One-shot Learning、Zero-shot Learning。
• 07.18 09:23:26
  发表了文章 2023-07-18 09:23:26

  【计算机视觉 | 目标检测】Detecting Twenty-thousand Classes using Image-level Supervision

  本文提出的方法也采用了经典的两阶段范式，在第一阶段采用直接提取RPN的方法，第二阶段对做细化的具体类别进行assign和识别。
• 07.17 20:29:45
  发表了文章 2023-07-17 20:29:45

  【计算机视觉】CNN 可视化算法 CAM & Grad-CAM

  CAM 算法是论文《Learning Deep Features for Discriminative Localization》中提出的，作者发现 CNN 网络虽然在训练时可能未提供对象的位置，但是仍然具有很强的定位特征能力。 《Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization》论文提出的 Grad-CAM 算法，Grad-CAM 利用网络反向传播的梯度计算出 feature map 每一个通道的权重从而得到热力图。因此 Grad-CAM 可以直接用于各种 CNN 网络而无需重新训
• 07.17 19:59:24
  发表了文章 2023-07-17 19:59:24

  【计算机视觉】CORA: Adapting CLIP for Open-Vocabulary Detection with Region Prompting and Anchor Pre-Matching

  CORA 在目标检测任务中提出了一种新的 CLIP 预训练模型适配方法，主要包括 Region Prompting 和 Anchor Pre-Matching 两部分。 这种方法能够让 CLIP 模型适应目标检测的任务，能够识别出图像中的对象，并提供准确的分类和定位信息。
• 07.17 16:19:47
  发表了文章 2023-07-17 16:19:47

  【计算机视觉 | 目标检测】Aligning Bag of Regions for Open-Vocabulary Object Detection

  对准开放词汇表对象检测的区域袋
• 07.17 16:02:38
  发表了文章 2023-07-17 16:02:38

  【计算机视觉】Open-Vocabulary Semantic Segmentation with Mask-adapted CLIP（OVSeg）

  基于掩码的开放词汇语义分割。 从效果上来看，OVSeg 可以与 Segment Anything 结合，完成细粒度的开放语言分割。
• 07.17 15:43:34
  发表了文章 2023-07-17 15:43:34

  【计算机视觉】OFA：通过一个简单的seq2seq的学习框架来统一架构、任务和模态

  追求多模态预训练的统一范式，以打破复杂任务/特定模态定制的框架。
• 07.17 15:18:30
  发表了文章 2023-07-17 15:18:30

  【计算机视觉 | 目标检测】Open-Vocabulary DETR with Conditional Matching论文解读

  具有条件匹配的开放词汇表DETR