ICLR 2024:跨领域准确进行零样本异常检测,浙大等提出AnomalyCLIP

简介: 【5月更文挑战第12天】 浙大、新大和哈佛研究人员合作提出AnomalyCLIP,利用预训练的视觉-语言模型CLIP,学习对象无关文本提示,实现准确的跨领域异常检测。在17个数据集上表现出色,但存在特定领域适应性和计算复杂度问题。研究表明潜力,尤其对工业和医学图像分析。[论文链接](https://arxiv.org/pdf/2310.18961.pdf)

在近期的ICLR 2024会议上,一项名为AnomalyCLIP的研究引起了广泛关注。这项研究由浙江大学、新加坡管理大学和哈佛大学的研究人员共同完成,旨在解决跨领域零样本异常检测(ZSAD)问题。

零样本异常检测是一种在目标数据集中没有训练样本的情况下,检测和定位异常的挑战性任务。它广泛应用于工业缺陷检测、医学图像分析等领域,但面临着由于数据隐私、领域差异等因素导致的训练数据不可用或不相关的挑战。

AnomalyCLIP通过引入对象无关的文本提示学习,成功解决了这些挑战。它利用了大型预训练的视觉-语言模型(如CLIP)的强大零样本识别能力,并提出了一种新颖的方法来适应CLIP进行准确的跨领域零样本异常检测。

AnomalyCLIP的关键创新在于学习对象无关的文本提示,这些提示能够捕捉图像中的通用正常性和异常性,而不受其前景对象的影响。通过这种方式,AnomalyCLIP能够专注于异常图像区域,而不是对象语义,从而实现在各种不同类型的对象上进行泛化的正常性和异常性识别。

在大规模的实验中,AnomalyCLIP在17个真实世界的异常检测数据集上取得了显著的性能提升。这些数据集涵盖了各种工业和医学领域,包括缺陷检测和医学成像。AnomalyCLIP在所有数据集上都实现了优越的零样本异常检测和定位性能,证明了其在跨领域场景下的泛化能力。

然而,AnomalyCLIP也存在一些局限性。首先,尽管它在大规模实验中取得了显著的性能提升,但在一些特定的领域或数据集上可能表现得不够出色。其次,AnomalyCLIP的计算复杂度较高,可能不适合一些实时应用场景。

尽管存在一些挑战,但AnomalyCLIP的研究为解决跨领域零样本异常检测问题提供了新的思路和方法。它展示了通过学习对象无关的文本提示来捕捉通用正常性和异常性,从而实现跨领域泛化的可能性。这项研究有望为工业缺陷检测、医学图像分析等领域的发展提供新的机遇。

文章地址:https://arxiv.org/pdf/2310.18961.pdf

目录
相关文章
|
10月前
|
计算机视觉
【论文速递】Arxiv2018 - 加州伯克利大学借助引导网络实现快速、准确的小样本分割
【论文速递】Arxiv2018 - 加州伯克利大学借助引导网络实现快速、准确的小样本分割
83 0
|
3月前
|
机器学习/深度学习 网络架构
揭示Transformer重要缺陷!北大提出傅里叶分析神经网络FAN,填补周期性特征建模缺陷
近年来,神经网络在MLP和Transformer等模型上取得显著进展,但在处理周期性特征时存在缺陷。北京大学提出傅里叶分析网络(FAN),基于傅里叶分析建模周期性现象。FAN具有更少的参数、更好的周期性建模能力和广泛的应用范围,在符号公式表示、时间序列预测和语言建模等任务中表现出色。实验表明,FAN能更好地理解周期性特征,超越现有模型。论文链接:https://arxiv.org/pdf/2410.02675.pdf
140 68
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
揭示Transformer周期建模缺陷!北大提出新型神经网络FAN,填补周期性特征建模能力缺陷
北京大学研究团队发现,Transformer等主流神经网络在周期特征建模方面存在缺陷,如记忆数据模式而非理解内在规律,导致泛化能力受限。为此,团队提出基于傅里叶分析的Fourier Analysis Network(FAN),通过显式建模周期性特征,提升模型的理解和预测能力,减少参数和计算量,并在多个实验中验证其优越性。论文链接:https://arxiv.org/pdf/2410.02675.pdf
26 3
|
7月前
KDD 2024:零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT
【8月更文挑战第21天】UrbanGPT是由香港大学等机构研发的时空大模型,针对城市管理中因数据稀缺导致的预测难题,通过时空依赖编码器与指令调整技术实现强大的泛化能力。此模型能在多种城市任务中无需样本进行准确预测,如交通流量和人群流动等,有效应对数据收集难的问题,在零样本场景下表现优异,为智慧城市管理提供了有力工具。[论文](https://arxiv.org/abs/2403.00813)
97 1
|
10月前
|
自然语言处理
论文推荐:用多词元预测法提高模型效率与速度
《Better & Faster Large Language Models via Multi-token Prediction》论文提出了一种多词元预测框架,改善了大型语言模型(LLMs)的样本效率和推理速度。该方法通过一次预测多个词元,而非单个词元,提高了模型在编程和自然语言任务中的性能。实验显示,多词元预测在HumanEval和MBPP任务上性能提升,推理速度最高可提升3倍。此外,自我推测解码技术进一步优化了解码效率。尽管在小模型中效果不明显,但该方法为大模型训练和未来研究开辟了新途径。
251 0
|
10月前
|
计算机视觉
模型落地必备 | 南开大学提出CrossKD蒸馏方法,同时兼顾特征和预测级别的信息
模型落地必备 | 南开大学提出CrossKD蒸馏方法,同时兼顾特征和预测级别的信息
198 0
|
机器学习/深度学习 人工智能 算法
NeurIPS 2022 | 直面图的复杂性,港中文等提出面向图数据分布外泛化的因果表示学习(1)
NeurIPS 2022 | 直面图的复杂性,港中文等提出面向图数据分布外泛化的因果表示学习
145 0
NeurIPS 2022 | 直面图的复杂性,港中文等提出面向图数据分布外泛化的因果表示学习(1)
|
机器学习/深度学习 运维 自然语言处理
时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023(1)
时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023
775 1
|
机器学习/深度学习 运维 算法
时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023(2)
时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023
1697 0
|
机器学习/深度学习 人工智能 算法
扩散模型还能预测地震和犯罪?清华团队最新研究提出时空扩散点过程
扩散模型还能预测地震和犯罪?清华团队最新研究提出时空扩散点过程
147 0