一、分割|语义相关(19篇)（上）
1.1 Mask Frozen-DETR: High Quality Instance Segmentation with One GPU
掩码冻结-DETR：一个GPU的高质量实例分割
https://arxiv.org/abs/2308.03747
在本文中，我们的目标是研究如何以最少的训练时间和 GPU 构建强大的实例分割器，而不是当前大多数方法通过构建更高级的框架来追求更准确的实例分割器，但代价是更长的训练时间和更高的成本。 GPU 要求。 为了实现这一目标，我们引入了一个简单而通用的框架，称为 Mask Frozen-DETR，它可以将任何现有的基于 DETR 的对象检测模型转换为强大的实例分割模型。 我们的方法只需要训练一个额外的轻量级掩模网络，该网络可以预测由冻结的基于 DETR 的对象检测器给出的边界框中的实例掩模。 值得注意的是，我们的方法在 COCO 测试-开发分割的性能方面优于最先进的实例分割方法 Mask DINO（55.3% vs. 54.7%），同时训练速度提高了 10 倍以上。 此外，我们所有的实验都可以仅使用一个具有 16 GB 内存的 Tesla V100 GPU 进行训练，这证明了我们提出的框架的显着效率。
1.2 AdaptiveSAM: Towards Efficient Tuning of SAM for Surgical Scene Segmentation
AdaptiveSAM：用于手术场景分割的高效SAM调整
https://arxiv.org/abs/2308.03726
分割是使用人工智能进行手术场景分析的一个基本问题。 然而，该领域固有的数据稀缺性使得采用传统的分割技术来完成该任务具有挑战性。 为了解决这个问题，当前的研究采用预训练模型并根据给定数据对其进行微调。 即便如此，每次有新数据可用时，都需要使用数百万个参数来训练深度网络。 最近发布的基础模型 Segment-Anything (SAM) 可以很好地推广到各种自然图像，从而在合理的程度上解决了这一挑战。 然而，SAM 并不能很好地推广到医疗领域，因为它没有利用大量计算资源进行微调和使用特定于任务的提示。 此外，这些提示采用边界框或前景/背景点的形式，需要为每个图像明确注释，使得该解决方案随着数据量的增加而变得越来越乏味。 在这项工作中，我们提出了 AdaptiveSAM - SAM 的自适应修改，可以快速有效地适应新数据集，同时支持文本提示分割。 对于微调 AdaptiveSAM，我们提出了一种称为偏差调整的方法，该方法需要的可训练参数数量明显少于 SAM（少于 2%）。 同时，AdaptiveSAM 需要的专家干预可以忽略不计，因为它使用自由格式的文本作为提示，并且只需标签名称作为提示即可分割感兴趣的对象。 我们的实验表明，AdaptiveSAM 在各种医学成像数据集（包括手术、超声和 X 射线）上的表现优于当前最先进的方法。
1.3 SEM-GAT: Explainable Semantic Pose Estimation using Learned Graph Attention
基于学习图注意的可解释语义姿势估计
https://arxiv.org/abs/2308.03718
本文提出了一种基于 GNN 的方法，利用语义和局部几何来指导识别可靠的点云配准候选者。 环境的语义和形态特征作为配准的关键参考点，从而实现基于激光雷达的准确姿态估计。 我们新颖的轻量级静态图结构通过识别基于语义实例的关系，为我们基于注意力的关键点节点聚合 GNN 网络提供信息，充当归纳偏差，显着减少点云注册的计算负担。 通过连接候选节点并利用跨图注意力，我们识别所有潜在配准对应的置信度分数，估计点云扫描之间的位移。 我们的管道通过将模型的性能与环境中局部结构的个体贡献相关联，可以对模型的性能进行内省分析，从而为系统的行为提供有价值的见解。 我们在 KITTI 里程计数据集上测试了我们的方法，与基准方法相比，实现了有竞争力的准确性和更高的轨道平滑度，同时依赖于更少的网络参数。
1.4 Prototype Learning for Out-of-Distribution Polyp Segmentation
基于原型学习的散乱息肉分割算法
https://arxiv.org/abs/2308.03709
现有的结肠镜检查图像息肉分割模型通常无法在不同中心的数据集上提供可靠的分割结果，限制了其适用性。 我们在这项研究中的目标是创建一个强大且通用的分割模型，名为 PrototypeLab，可以帮助进行息肉分割。 为了实现这一目标，我们将各种照明模式（例如白光成像（WLI）、蓝光成像（BLI）、链接彩色成像（LCI）和灵活光谱成像色彩增强（FICE））融入到我们的新分割模型中，该模型学习 为图像中存在的每一类对象创建原型。 这些原型代表了物体的特征，例如它们的形状、纹理、颜色。 我们的模型旨在在来自多个中心的分布外 (OOD) 数据集上有效执行。 我们首先生成一个粗略掩模，用于学习主要对象类的原型，然后使用原型生成最终的分割掩模。 通过使用原型来表示主类，我们的方法可以处理医学图像中存在的变异性，并很好地推广到新数据，因为原型捕获了数据的基础分布。 PrototypeLab 提供了一种很有前途的解决方案，其 dice 系数≥ 90%，mIoU ≥ 85%，息肉分割具有近乎实时的处理速度。 与 16 个最先进的图像分割架构相比，它在 OOD 数据集上实现了卓越的性能，有可能改善临床结果。
1.5 Feature Decoupling-Recycling Network for Fast Interactive Segmentation
用于快速交互分割的特征解耦-循环网络
最近的交互式分割方法迭代地将源图像、用户指导和先前预测的掩模作为输入，而不考虑源图像的不变性。 因此，在每次交互中都会重复从源图像中提取特征，从而导致大量的计算冗余。 在这项工作中，我们提出了特征解耦回收网络（FDRN），它根据建模组件的内在差异来解耦建模组件，然后为每个用户交互回收组件。 这样，整个交互过程的效率就可以得到显着的提升。 具体来说，我们从三个角度应用解耦-回收策略来分别解决三类差异。 首先，我们的模型将源图像语义的学习与用户指导的编码解耦，以分别处理两种类型的输入域。 其次，FDRN 将高层和低层特征与分层语义表示解耦，以增强特征学习。 第三，在用户引导的编码过程中，将当前用户引导与历史引导解耦，以突出当前用户引导的效果。 我们对来自不同领域和模式的 6 个数据集进行了广泛的实验，证明了我们的模型具有以下优点：1）比其他方法具有更高的效率，特别是在需要长期交互的具有挑战性的场景中特别有利（快达 4.25 倍），同时实现 良好的分割性能； 2）对各种方法的适用性强，作为通用的增强技术； 3）良好的跨任务通用性，例如医学图像分割，以及针对误导性用户指导的鲁棒性。
1.6 Keyword Spotting Simplified: A Segmentation-Free Approach using Character Counting and CTC re-scoring
简化关键词定位：一种基于字符计数和CTC重新评分的无分词方法
https://arxiv.org/abs/2308.03515
无分段关键词识别的最新进展解决了这个问题。 对象检测范例并借鉴最先进的检测系统，同时提出单词边界框提议机制并计算相应的表示。 与依赖复杂和大型 DNN 模型的此类方法的规范相反，我们提出了一种新颖的无分割系统，可以有效扫描文档图像以查找包含查询信息的矩形区域。 底层模型简单而紧凑，通过隐式学习的比例图预测矩形区域上的字符出现，并在字级注释图像上进行训练。 然后，通过积分图像和二分搜索，以经济有效的方式使用该字符计数来执行所建议的文档扫描。 最后，充分利用经过训练的 CNN 模型，通过金字塔表示和基于 CTC 的重新评分算法来细化字符计数的检索相似度。 对两个广泛使用的数据集的实验验证表明，尽管底层模型很简单，但我们的方法取得了最先进的结果，优于更复杂的替代方案。
