ECCV 2024:让GPT-4图像理解更易出错,全新策略增强VLP模型对抗迁移性

简介: 【8月更文挑战第13天】在AI领域,视觉语言预训练(VLP)模型展现出了强大的图像与文本理解能力,但也易受多模态对抗样本攻击。为此,研究者提出了Cross-Clean-Adversarial Regional Diversification (CCAR-Div)策略,通过增强对抗样本多样性以提升VLP模型的对抗迁移性。此策略在对抗轨迹交集区域采样,增加样本多样性,并利用模态交互作用。经Flickr30K和MSCOCO数据集验证,CCAR-Div能有效提高跨模型与跨任务场景下的对抗迁移性,如使用ALBEF生成的对抗样本攻击TCL时,成功率高达95.58%。

在人工智能领域,视觉语言预训练(VLP)模型因其在理解图像和文本方面的卓越能力而备受瞩目。然而,这些模型也容易受到多模态对抗样本(AEs)的攻击。为了解决这个问题,研究人员提出了一种名为Cross-Clean-Adversarial Regional Diversification(CCAR-Div)的新型策略,旨在提高VLP模型的对抗迁移性。

CCAR-Div策略的核心思想是通过在对抗轨迹的交集区域进行多样化来增强对抗样本的多样性。具体来说,该策略考虑了原始图像、前一步的对抗图像以及当前的对抗图像之间的交集区域,并在该区域内进行采样,以获得更多样化的对抗样本。此外,CCAR-Div策略还引入了基于文本的对抗样本选择策略,以充分利用模态之间的交互作用。

为了验证CCAR-Div策略的有效性,研究人员在两个广泛使用的多模态数据集Flickr30K和MSCOCO上进行了广泛的实验。实验结果表明,CCAR-Div策略在提高对抗迁移性方面非常有效,尤其是在跨模型和跨任务的场景中。

在跨模型的场景中,研究人员使用不同的VLP模型(如ALBEF、TCL、CLIP_ViT和CLIP_CNN)进行了实验。结果显示,CCAR-Div策略在提高对抗迁移性方面明显优于其他方法,尤其是在攻击具有不同结构的模型时。例如,当使用ALBEF生成对抗样本并攻击TCL时,CCAR-Div策略的黑盒攻击成功率达到了95.58%,而其他方法的成功率则较低。

在跨任务的场景中,研究人员使用CCAR-Div策略生成的对抗样本进行了视觉定位和图像字幕生成等任务的实验。结果显示,这些对抗样本在跨任务的场景中也表现出了良好的迁移性,成功干扰了其他任务的性能。

然而,CCAR-Div策略也存在一些潜在的问题。首先,该策略的计算成本较高,尤其是在处理大规模数据集时。其次,该策略可能对某些类型的对抗样本不敏感,导致其在实际应用中的鲁棒性受到限制。此外,由于CCAR-Div策略主要关注于提高对抗迁移性,而没有直接解决对抗样本的生成问题,因此其在实际应用中的实用性还有待进一步验证。

论文链接:https://arxiv.org/pdf/2403.12445

目录
相关文章
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
当语言遇见智慧火花:GPT家族历代模型大起底,带你见证从平凡到卓越的AI进化奇迹!
【10月更文挑战第6天】随着自然语言处理技术的进步,GPT系列模型(Generative Pre-trained Transformers)成为该领域的明星。从GPT-1的开创性工作,到GPT-2在规模与性能上的突破,再到拥有1750亿参数的GPT-3及其无需微调即可执行多种NLP任务的能力,以及社区驱动的GPT-NeoX,这些模型不断进化。虽然它们展现出强大的语言理解和生成能力,但也存在如生成错误信息或偏见等问题。本文将对比分析各代GPT模型的特点,并通过示例代码展示其部分功能。
154 2
|
2月前
|
数据采集 API 决策智能
华为诺亚联合中科大发布工具调用模型ToolACE,效果持平GPT-4获开源第一
 【10月更文挑战第10天】华为诺亚方舟实验室与中国科学技术大学合作推出ToolACE,一种自进化合成过程的工具调用模型。ToolACE通过多智能体交互和双重验证系统生成准确、复杂、多样化的工具学习数据,显著提升大型语言模型(LLM)的功能调用能力。实验结果显示,使用ToolACE数据训练的80亿参数模型性能媲美GPT-4,在伯克利功能调用排行榜上获得开源第一。
89 4
|
3月前
|
API 云栖大会
通义千问升级旗舰模型Qwen-Max,性能接近GPT-4o
通义旗舰模型Qwen-Max全方位升级,性能接近GPT-4o
1445 11
|
16天前
|
数据采集 人工智能 数据可视化
InternVL 2.5,首个MMMU超过70%的开源模型,性能媲美GPT-4o
近期Internvl2.5发布,性能与GPT-4o和Claude-3.5-sonnet等领先的商业模型相媲美,成为首个在MMMU上超过70%的开源模型,通过链式思考(CoT)推理实现了3.7个百分点的提升,展示了强大的测试时间可扩展性潜力。
|
4月前
|
人工智能 自然语言处理
公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4
【8月更文挑战第3天】新论文提出“公理训练”法,使仅有6700万参数的语言模型掌握因果推理,性能媲美万亿级GPT-4。研究通过大量合成数据示例教授模型因果公理,实现有效推理并泛化至复杂图结构。尽管面临合成数据需求大及复杂关系处理限制,此法仍为语言模型的因果理解开辟新途径。[链接: https://arxiv.org/pdf/2407.07612]
86 1
|
4月前
|
知识图谱
ARTIST的中文文图生成模型问题之通过GPT生成图像序列的问题如何解决
ARTIST的中文文图生成模型问题之通过GPT生成图像序列的问题如何解决
|
1月前
|
自然语言处理 搜索推荐 Serverless
基于函数计算部署GPT-Sovits模型实现语音生成
阿里云开发者社区邀请您参加“基于函数计算部署GPT-Sovits模型实现语音生成”活动。完成指定任务即可获得收纳箱一个。活动时间从即日起至2024年12月13日24:00:00。快来报名吧!
|
2月前
|
存储 数据采集 数据安全/隐私保护
商汤、清华、复旦等开源百亿级多模态数据集,可训练类GPT-4o模型
商汤科技、清华大学和复旦大学等机构联合开源了名为OmniCorpus的多模态数据集,规模达百亿级,旨在支持类似GPT-4级别的大型多模态模型训练。该数据集包含86亿张图像和1696亿个文本标记,远超现有数据集规模并保持高质量,具备广泛来源和灵活性,可轻松转换为纯文本或图像-文本对。经验证,该数据集质量优良,有望促进多模态模型研究,但同时也面临存储管理、数据偏见及隐私保护等挑战。
187 60
|
1月前
|
弹性计算 自然语言处理 搜索推荐
活动实践 | 基于函数计算部署GPT-Sovits模型实现语音生成
通过阿里云函数计算部署GPT-Sovits模型,可快速实现个性化声音的文本转语音服务。仅需少量声音样本,即可生成高度仿真的语音。用户无需关注服务器维护与环境配置,享受按量付费及弹性伸缩的优势,轻松部署并体验高质量的语音合成服务。
|
4月前
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙
【8月更文挑战第10天】新研究NoCha挑战显示,即使是顶级的大型语言模型GPT-4o,在处理长篇幅文本时正确率仅55.8%,低于人类直观水平。该挑战基于近作英文小说,检验模型对整本书信息的理解与推理能力。结果显示,模型在全局推理上的表现不佳,倾向于依赖局部信息而非整体上下文,尤其是在复杂推理需求高的科幻小说上表现更弱。这一发现揭示了当前模型在处理长上下文任务上的局限性。论文链接: [https://arxiv.org/pdf/2406.16264](https://arxiv.org/pdf/2406.16264)。
132 65

热门文章

最新文章