【vision transformer】LETR论文解读及代码实战(一)

简介: 【vision transformer】LETR论文解读及代码实战

LETR: Line Segment Detection Using Transformers without Edges

基于vision-transformer/DETR 提取wireframe的网络框架,截止日前实现了sota性能。

论文:https://arxiv.org/abs/2101.01909

代码:https://github.com/mlpc-ucsd/LETR

该部分是论文解读:

08fe6bad38a04e0b8721806894866b77.png

该论文是DETR在wireframe 数据集任务上的变体迁移,也是vision transformer在wirefame上的成功尝试,实现了wreframe 检测任务的sota性能,DETR论文及代码的介绍参考

【vision transformer】DETR原理及代码详解(一)_wangshuaixian的博客-CSDN博客_detr代码详解

【vision transformer】DETR原理及代码详解(三)_wangshuaixian的博客-CSDN博客

【vision transformer】DETR原理及代码详解(四)_wangshuaixian的博客-CSDN博客

LETR论文:

(1)摘要

本文提出了一种利用transformer 机制的端到端的全局线段提取网络。它不需要后处理以及中间的启发式引导。LETR取自LinE segment TRansformers,利用DETR中的三个高明之处即集成化编码和解码的tokenized查询,自注意力和联合查询,解决了该领域的三个问题:边缘元素检测,感知聚合和全局推断。

transformer通过分层的注意力机制逐步细化线段,省略了之前线段提取中的启发式设计。我们设计的transformer 配备有多尺度的encoder和decoder,直接利用端点距离损失训练---这尤其适用于实体(例如边界框无法方便表示的线段),最终实现细粒度的线段提取。

LETR在wireframe和YorkUrban数据集上显示了sota性能,也为联合端到端的通用实体检测(没法用标准物体检测框表示)指明了方向。

(2) 创新点

LETR 跳过了传统的边缘/连接/区域检测+proposals+感知分组pipline,设计了一个通用的全局端到端线段分割的目标检测算法。LETR论文灵感来自于:transformer框架中的具有集成编码和解码功能的标记化查询,自注意力机制,匈牙利匹配算法的隐式覆盖了线段检测中的(信息检测、感知分组和整体评估)的重要内容。

41e60c8379d1488caf5a3de358912968.png

(3)主要贡献

除以上提到的两点外, 本文针对DETR框架的创新:

LETR在DETR 中引进了两个新的算法,

第一:多尺度的编码器/解码器,如下图所示,多尺度的encoder/decoder分阶段处理再融合,提高线段检测的精度;

第二:训练时直接用端点距离作为损失函数,解决了像线一样无法用标准bbox 表示特征的实体利用transformer框架检测的障碍。

3c34d5d808cc43be9966823a4d290fec.png

(4)LETR流程

  (1)Image feature extraction:

输入一张图像,通过cnn backbone 降维获得图像深度特征map  :(h×w×c)

  (2)Image feature encoding:

图像深度特征map flattened后维度为: (hw×c),然后通过多头注意力机制encode为

(hw×c),然后喂入FFN层。

  (3)Line segment detection:

在transformer 解码阶段,N可学习的线段候选 (N×C)通过交叉注意力机制与encoder 的输出交互

 ( 4)Line segment prediction:

     在transformer decoder 的顶层用两个预测头实现线段预测。线坐标通过多层感知机MLP预测,置信度通过线性层打分。

(5)挖掘点

                     self-attention and cross-attention(自注意力和交叉注意力)

                     Transformer encoder

                     Transformer decoer

                     Coarse-to-Fine Strategy (由粗到细的策略)

                     Biparttite Matching

(6)损失函数:  Line segment losses

classification loss:   binary cross-entropy loss

627664b9db19430cbf6351e7cd2f3f35.png

distance loss:L1 loss 用来回归线段的端点

d639e91fa0f140a5a6022b6dfe374e2f.png

LERT最后删除了DETR 中的GIOU损失,因为GIOU是针对bbox的,采用损失为:

f5c1b7392eeb41ca86362a3df9c6c1f7.png

(5)LETR的实验结果:

0c8edabd7f4c48d78842708fc6ce4428.png


目录
相关文章
|
机器学习/深度学习 编解码 并行计算
论文阅读笔记 | Transformer系列——CSWin Transformer
论文阅读笔记 | Transformer系列——CSWin Transformer
710 0
论文阅读笔记 | Transformer系列——CSWin Transformer
|
机器学习/深度学习 编解码 自然语言处理
Vision Transformer 必读系列之图像分类综述(二): Attention-based(上)
Transformer 结构是 Google 在 2017 年为解决机器翻译任务(例如英文翻译为中文)而提出,从题目中可以看出主要是靠 Attention 注意力机制,其最大特点是抛弃了传统的 CNN 和 RNN,整个网络结构完全是由 Attention 机制组成。为此需要先解释何为注意力机制,然后再分析模型结构。
793 0
Vision Transformer 必读系列之图像分类综述(二): Attention-based(上)
Vision Transformer 图像分类识别 基于 ViT(Vision Transformer)的图像十分类 实战 完整代码 毕业设计
Vision Transformer 图像分类识别 基于 ViT(Vision Transformer)的图像十分类 实战 完整代码 毕业设计
126 0
Vision Transformer 图像分类识别 基于 ViT(Vision Transformer)的图像十分类 实战 完整代码 毕业设计
|
机器学习/深度学习 自然语言处理 并行计算
【Transformer系列(3)】 《Attention Is All You Need》论文超详细解读(翻译+精读)
【Transformer系列(3)】 《Attention Is All You Need》论文超详细解读(翻译+精读)
1404 0
【Transformer系列(3)】 《Attention Is All You Need》论文超详细解读(翻译+精读)
|
计算机视觉
论文阅读笔记 | Transformer系列——Transformer in Transformer
论文阅读笔记 | Transformer系列——Transformer in Transformer
295 0
论文阅读笔记 | Transformer系列——Transformer in Transformer
|
机器学习/深度学习 编解码 自然语言处理
【18】Vision Transformer:笔记总结与pytorch实现
【18】Vision Transformer:笔记总结与pytorch实现
853 0
【18】Vision Transformer:笔记总结与pytorch实现
|
机器学习/深度学习 编解码 自然语言处理
论文阅读笔记 | Transformer系列——Swin Transformer
论文阅读笔记 | Transformer系列——Swin Transformer
1198 0
论文阅读笔记 | Transformer系列——Swin Transformer
【vision transformer】DETR原理及代码详解(二)
【vision transformer】DETR原理及代码详解
99 0
|
机器学习/深度学习 算法 PyTorch
【vision transformer】DETR原理及代码详解(一)
【vision transformer】DETR原理及代码详解
1370 0
|
SQL API
【vision transformer】DETR原理及代码详解(四)
【vision transformer】DETR原理及代码详解
542 0