在对比学习中引入显式跨图像相似度建模能力,中南大学显著提高无监督表征的泛化能力(2)

简介: 在对比学习中引入显式跨图像相似度建模能力,中南大学显著提高无监督表征的泛化能力

算法具体的实现代码如下:




3.2 Inter-Instance Similarity Modeling

根据上一节得到的以及,进行跨图像实例的相似性关系建模,框架如下图所示。



由以下 3 部分 loss 构成

  • mix-to-origin contrastive objective



  • mix-to-mix contrastive objective



  • origin-to-origin contrastive objective



其中,表示表征 h 和 z 之间的 cosine 相似度。综上,跨图像实例相似度建模算法可以总结如下:



4. 实验结果

4.1 Image Classification on ImageNet-1K


4.2 Image Classification on CIFAR10 and


4.3 Inter-Instance Similarity Visualization


5. 总结

PatchMix 通过混合不同图像的 Patch,构造了具有多图像实例相似性的对比学习代理任务,以引导模型在对比学习过程中关注不同图像之间潜在的相似性,提高所学习表征在不同图像上的跨实例泛化能力。

在具体的目标函数上,采用 mix-to-origin contrast 构造混合图像和正常图像的相似关系,进一步引入 mix-to-mix contrast 构造更为复杂的样本间相似性关系,并利用 origin-to-origin contrast 消除混合图像在表征上的 gap,提高表征在正常图像上的适配性。

实验上,PatchMix 大幅提升了无监督表征在 ImageNet-1K, CIFAR10, CIFAR100和 COCO 数据集下游任务上的性能,证明了其有效性。

相关文章
|
7月前
|
人工智能 IDE 程序员
Qoder 负责人揭秘:Qoder 产品背后的思考与未来发展
AI Coding 已经成为软件研发的必选项。根据行业的调研,目前全球超过 62% 的开发者正在使用 AI Coding 产品,开发者研发效率提升 30% 以上。当然,有很多开发者用得比较深入,提效超过 50%。
1647 22
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
如何准确检测AI生成内容?这三大技术是关键
如何准确检测AI生成内容?这三大技术是关键
1092 116
|
4月前
|
监控 数据可视化 安全
版本管理与产品迭代:规划、执行、工具与复盘全流程
本文系统阐述如何将产品版本管理从“发布流程”升级为“战略执行工具”,提出战略型、平台型、功能型、维护型四大版本分层体系,结合目标对齐、迭代拆解、风险管控与复盘优化四步法,助力团队实现从被动响应到主动规划的跃迁,提升产品竞争力与研发效能。
|
存储 人工智能
浙江大学与阿里云联合宣布共建人工智能通识课|阿里云云工开物合作动态
浙江大学与阿里云联合共建人工智能通识课,涵盖教育、法律、设计等多学科方向,将产业案例融入课程体系。阿里云开放大模型认证课程资源,提供云服务器、AI算力等支持,并通过“云工开物”计划为学生提供计算资源。双方还将发起“智能体创新大赛”,推动技术创新与人才培养。浙大是国内首批开展全校人工智能通识课的顶尖高校之一,2024年起“人工智能基础”成为全校本科生必修课。
|
存储 安全 数据安全/隐私保护
电脑突然就剩c盘了怎么恢复?
在日常使用电脑的过程中,许多人可能遇到过一个令人头疼的问题:打开“此电脑”时,发现原本分区明确的硬盘突然只剩下C盘,D盘、E盘甚至整个数据盘都“消失”了。这种情况看似棘手,但实际上,大多数情况下数据并未真正丢失,而是由于系统问题或设置错误导致分区不可见。本文将为大家详细分析可能的原因,并提供解决方法,帮助您恢复消失的分区和数据。
|
弹性计算 自然语言处理 搜索推荐
活动实践 | 基于函数计算部署GPT-Sovits模型实现语音生成
通过阿里云函数计算部署GPT-Sovits模型,可快速实现个性化声音的文本转语音服务。仅需少量声音样本,即可生成高度仿真的语音。用户无需关注服务器维护与环境配置,享受按量付费及弹性伸缩的优势,轻松部署并体验高质量的语音合成服务。
|
存储 Java 数据建模
Java零基础-三维数组详解!
【10月更文挑战第21天】Java零基础教学篇,手把手实践教学!
762 4
|
人工智能 测试技术 Serverless
小而强大,零一万物编程小能手Yi-Coder系列模型开源!
9 月 5 日,零一万物开源了 Yi-Coder 系列模型,它作为 Yi 系列模型家族中的“编程小能手”,展现了卓越的代码生成能力。这是继今年 5 月 13 日开源 Yi-1.5 系列模型之后,零一万物在开源方向上的又一重要成果。
小而强大,零一万物编程小能手Yi-Coder系列模型开源!