ICLR 2024:跨领域准确进行零样本异常检测,浙大等提出AnomalyCLIP

简介: 【5月更文挑战第12天】 浙大、新大和哈佛研究人员合作提出AnomalyCLIP,利用预训练的视觉-语言模型CLIP,学习对象无关文本提示,实现准确的跨领域异常检测。在17个数据集上表现出色,但存在特定领域适应性和计算复杂度问题。研究表明潜力,尤其对工业和医学图像分析。[论文链接](https://arxiv.org/pdf/2310.18961.pdf)

在近期的ICLR 2024会议上,一项名为AnomalyCLIP的研究引起了广泛关注。这项研究由浙江大学、新加坡管理大学和哈佛大学的研究人员共同完成,旨在解决跨领域零样本异常检测(ZSAD)问题。

零样本异常检测是一种在目标数据集中没有训练样本的情况下,检测和定位异常的挑战性任务。它广泛应用于工业缺陷检测、医学图像分析等领域,但面临着由于数据隐私、领域差异等因素导致的训练数据不可用或不相关的挑战。

AnomalyCLIP通过引入对象无关的文本提示学习,成功解决了这些挑战。它利用了大型预训练的视觉-语言模型(如CLIP)的强大零样本识别能力,并提出了一种新颖的方法来适应CLIP进行准确的跨领域零样本异常检测。

AnomalyCLIP的关键创新在于学习对象无关的文本提示,这些提示能够捕捉图像中的通用正常性和异常性,而不受其前景对象的影响。通过这种方式,AnomalyCLIP能够专注于异常图像区域,而不是对象语义,从而实现在各种不同类型的对象上进行泛化的正常性和异常性识别。

在大规模的实验中,AnomalyCLIP在17个真实世界的异常检测数据集上取得了显著的性能提升。这些数据集涵盖了各种工业和医学领域,包括缺陷检测和医学成像。AnomalyCLIP在所有数据集上都实现了优越的零样本异常检测和定位性能,证明了其在跨领域场景下的泛化能力。

然而,AnomalyCLIP也存在一些局限性。首先,尽管它在大规模实验中取得了显著的性能提升,但在一些特定的领域或数据集上可能表现得不够出色。其次,AnomalyCLIP的计算复杂度较高,可能不适合一些实时应用场景。

尽管存在一些挑战,但AnomalyCLIP的研究为解决跨领域零样本异常检测问题提供了新的思路和方法。它展示了通过学习对象无关的文本提示来捕捉通用正常性和异常性,从而实现跨领域泛化的可能性。这项研究有望为工业缺陷检测、医学图像分析等领域的发展提供新的机遇。

文章地址:https://arxiv.org/pdf/2310.18961.pdf

目录
相关文章
|
9月前
|
算法 数据挖掘 Go
文献速读|5分生信+免疫组化单细胞联合bulk转录组肿瘤预后模型
研究摘要: 在《Cancer Immunology Immunotherapy》上发表的一篇文章,通过整合Bulk和单细胞RNA-seq数据,探讨了非小细胞肺癌(NSCLC)中癌相关纤维细胞(CAF)的作用。研究者识别出CAF的预后标志物,构建了一个基于CAF的模型,该模型在四个独立队列中区分了预后良好的和较差的患者。WGCNA分析鉴定出CAF标记基因,而CAF分数与免疫微环境和免疫治疗反应相关。高CAF分数关联较差的免疫治疗反应,FBLIM1被发现为CAF的主要来源,其高表达预测了免疫疗法的不良反应。该研究揭示了CAF在NSCLC免疫抑制和治疗策略中的重要地位。
222 1
|
2月前
|
机器学习/深度学习 网络架构
揭示Transformer重要缺陷!北大提出傅里叶分析神经网络FAN,填补周期性特征建模缺陷
近年来,神经网络在MLP和Transformer等模型上取得显著进展,但在处理周期性特征时存在缺陷。北京大学提出傅里叶分析网络(FAN),基于傅里叶分析建模周期性现象。FAN具有更少的参数、更好的周期性建模能力和广泛的应用范围,在符号公式表示、时间序列预测和语言建模等任务中表现出色。实验表明,FAN能更好地理解周期性特征,超越现有模型。论文链接:https://arxiv.org/pdf/2410.02675.pdf
128 68
|
30天前
|
人工智能 机器人
LeCun 的世界模型初步实现!基于预训练视觉特征,看一眼任务就能零样本规划
纽约大学Gaoyue Zhou等人提出DINO World Model(DINO-WM),利用预训练视觉特征构建世界模型,实现零样本规划。该方法具备离线训练、测试时行为优化和任务无关性三大特性,通过预测未来补丁特征学习离线行为轨迹。实验表明,DINO-WM在迷宫导航、桌面推动等任务中表现出强大的泛化能力,无需依赖专家演示或奖励建模。论文地址:https://arxiv.org/pdf/2411.04983v1。
50 21
|
6月前
KDD 2024:零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT
【8月更文挑战第21天】UrbanGPT是由香港大学等机构研发的时空大模型,针对城市管理中因数据稀缺导致的预测难题,通过时空依赖编码器与指令调整技术实现强大的泛化能力。此模型能在多种城市任务中无需样本进行准确预测,如交通流量和人群流动等,有效应对数据收集难的问题,在零样本场景下表现优异,为智慧城市管理提供了有力工具。[论文](https://arxiv.org/abs/2403.00813)
88 1
|
9月前
|
计算机视觉
模型落地必备 | 南开大学提出CrossKD蒸馏方法,同时兼顾特征和预测级别的信息
模型落地必备 | 南开大学提出CrossKD蒸馏方法,同时兼顾特征和预测级别的信息
188 0
|
机器学习/深度学习 运维 算法
时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023(2)
时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023
1650 0
|
机器学习/深度学习 运维 自然语言处理
时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023(1)
时序分析五边形战士!清华提出TimesNet:预测、填补、分类、检测全面领先|ICLR 2023
770 1
|
机器学习/深度学习 人工智能 算法
自监督为何有效?243页普林斯顿博士论文「理解自监督表征学习」,全面阐述对比学习、语言模型和自我预测三类方法
自监督为何有效?243页普林斯顿博士论文「理解自监督表征学习」,全面阐述对比学习、语言模型和自我预测三类方法
159 0
自监督为何有效?243页普林斯顿博士论文「理解自监督表征学习」,全面阐述对比学习、语言模型和自我预测三类方法
|
机器学习/深度学习 人工智能 算法
扩散模型还能预测地震和犯罪?清华团队最新研究提出时空扩散点过程
扩散模型还能预测地震和犯罪?清华团队最新研究提出时空扩散点过程
130 0
|
机器学习/深度学习 算法 数据可视化
CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey
CVPR 2023|两行代码高效缓解视觉Transformer过拟合,美图&国科大联合提出正则化方法DropKey
312 0