CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理
Subjects: cs.CV
1.Dropout Reduces Underfitting
标题：Dropout 减少欠拟合
作者：Zhuang Liu, Zhiqiu Xu, Joseph Jin, Zhiqiang Shen, Trevor Darrel
文章链接：https://arxiv.org/abs/2303.01500v1
项目代码：https://github.com/facebookresearch/dropout
摘要：
由 Hinton 等人介绍。2012 年，dropout 作为防止神经网络过度拟合的正则化项经受住了时间的考验。在这项研究中，我们证明了在训练开始时使用 dropout 也可以减轻欠拟合。在早期阶段，我们发现 dropout 减少了小批量梯度的方向方差，并有助于将小批量梯度与整个数据集的梯度对齐。这有助于抵消 SGD 的随机性并限制个别批次对模型训练的影响。我们的发现使我们找到了一种提高欠拟合模型性能的解决方案——早期退出：退出仅在训练的初始阶段应用，然后关闭。与没有 dropout 的模型相比，配备了 early dropout 的模型实现了更低的最终训练损失。此外，我们探索了一种用于正则化过拟合模型的对称技术 - 后期退出，其中退出在早期迭代中不使用，仅在后期训练中激活。在 ImageNet 和各种视觉任务上进行的实验表明，我们的方法不断提高泛化精度。我们的结果鼓励更多关于理解深度学习正则化的研究，我们的方法可以成为未来神经网络训练的有用工具，尤其是在大数据时代。
2.Self-Supervised Few-Shot Learning for Ischemic Stroke Lesion Segmentation
标题：用于缺血性中风病灶分割的自监督小样本学习
作者：Luca Tomasetti, Stine Hansen, Mahdieh Khanmohammadi, Kjersti Engan, Liv Jorunn Høllesli, Kathinka Dæhli Kurz, Michael Kampffmeyer
文章链接：https://arxiv.org/abs/2303.01332v1
项目代码：https://github.com/biomedical-data-analysis-laboratory/adnet-for-ais-segmentation
摘要：
精确的缺血性病灶分割在改善缺血性中风的诊断和治疗计划方面起着至关重要的作用，缺血性中风是死亡率最高的流行病之一。虽然最近提出了许多深度神经网络方法来解决这个问题，但这些方法在训练过程中需要大量的注释区域，这在注释数据稀缺的医学领域是不切实际的。作为一种补救措施，我们提出了一种原型的少镜头分割方法，用于在训练期间仅使用一个带注释的样本进行缺血性病变分割。所提出的方法利用了一种新颖的自我监督训练机制，该机制通过利用从计算机断层扫描灌注扫描生成的颜色编码参数图来适应缺血性中风病变分割的任务。我们说明了我们提出的训练机制的好处，从而在少镜头设置中显着提高了性能。给定一个带注释的患者，缺血性病变分割的平均 Dice 得分为 0.58。
3.The Learnable Typewriter: A Generative Approach to Text Line Analysis
标题：基于匹配的术语语义预训练，用于理解患者的口语查询
作者：Zefa Hu, Xiuyi Chen, Haoran Wu, Minglun Han, Ziyi Ni, Jing Shi, Shuang Xu, Bo Xu
文章链接：https://arxiv.org/abs/2303.01341v1
项目代码：https://github.com/flyingcat-fa/tspmn
摘要：
Medical Slot Filling (MSF) 任务旨在将医疗查询转换为结构化信息，在诊断对话系统中发挥重要作用。然而，缺乏足够的术语语义学习使得现有方法难以捕捉医学对话中语义相同但口语化的术语表达。在这项工作中，我们将 MSF 形式化为一个匹配问题，并提出了一个术语语义预训练匹配网络 (TSPMN)，它将术语和查询作为输入来模拟它们的语义交互。为了更好地学习术语语义，我们进一步设计了两个自监督目标，包括对比术语识别（CTD）和基于匹配的掩码术语建模（MMTM）。CTD 判断每个给定的term 是否是对话中的masked term，而MMTM 直接预测masked 的。两个中国基准的实验结果表明，TSPMN 优于强基线，尤其是在少镜头设置中。
