机器学习新宠:对比学习论文实现大合集,60多篇分门别类,从未如此全面(一)

简介: 机器学习新宠:对比学习论文实现大合集,60多篇分门别类,从未如此全面(一)

大家好,我是对白。


最近对比学习真的太火了,已然成为各大顶会争相投稿的一个热门领域,而它火的原因也很简单,就是因为它解决了有监督训练标注数据有限这个典型问题(这个问题在工业界非常滴常见)。所以对比学习的出现,给CV、NLP和推荐都带来了极大的福音,具体来说:


1、在CV领域,解决了“在没有更大标注数据集的情况下,如何采用自监督预训练模式,来从中吸取图像本身的先验知识分布,得到一个预训练模型”的问题;


2、在NLP领域,验证了”自监督预训练使用的数据量越大,模型越复杂,那么模型能够吸收的知识越多,对下游任务效果来说越好“这样一个客观事实;


3、在推荐领域,解决了以下四个原因:数据的稀疏性、Item的长尾分布、跨域推荐中多个不同的view聚合问题以及增加模型的鲁棒性或对抗噪音,感兴趣地可以看我写的这篇文章:推荐系统中不得不学的对比学习(Contrastive Learning)方法


因此为了更加清楚的掌握对比学习的前沿方向与最新进展,我为大家整理了最近一年来各大顶会中对比学习相关的论文,一共涵盖:


ICLR2021,SIGIR2021,WWW2021,CVPR2021,AAAI2021,NAACL2021,ICLR2020,NIPS2020,CVPR2020,ICML2020,KDD2020共十一个会议60多篇论文。本次整理以long paper和research paper为主,也包含少量的short paper和industry paper。由于工作量巨大,难免有疏漏,欢迎大家在评论区指正。


本文整理的论文列表已经同步更新到GitHub,GitHub上会持续更新顶会论文,欢迎大家关注和star~


https://github.com/coder-duibai/Contrastive-Learning-Papers-Codes


分成九类


1111.png

222.png


我将60多篇论文和它们的代码,分到了九个类别里。


333.gif


1.Computer Vision


第一类是计算机视觉,也是内容最饱满的章节,有19篇论文的代码。


不乏最近非常著名的模型,例如何恺明提出的MoCo和MoCo v2以及Geoffrey Hinton提出的SimCLR和SimCLR v2便属于这一类。


1. [PCL] Prototypical Contrastive Learning of Unsupervised


Representations.ICLR2021. Authors:Junnan Li, Pan Zhou, Caiming Xiong, Steven C.H. Hoi. paper code


2. [BalFeat] Exploring Balanced Feature Spaces for Representation Learning. ICLR2021.Authors:Bingyi Kang, Yu Li, Sa Xie, Zehuan Yuan, Jiashi Feng. paper


3. [MiCE] MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering. ICLR2021. Authors:Tsung Wei Tsai, Chongxuan Li, Jun Zhu. paper code


4. [i-Mix] i-Mix: A Strategy for Regularizing Contrastive Representation Learning. ICLR2021.


Authors:Kibok Lee, Yian Zhu, Kihyuk Sohn, Chun-Liang Li, Jinwoo Shin, Honglak Lee. paper code


5. Contrastive Learning with Hard Negative Samples.ICLR2021.


Authors:Joshua Robinson, Ching-Yao Chuang, Suvrit Sra, Stefanie Jegelka. paper code


6. [LooC] What Should Not Be Contrastive in Contrastive Learning. ICLR2021.


Authors:Tete Xiao, Xiaolong Wang, Alexei A. Efros, Trevor Darrell. paper


7. [MoCo] Momentum Contrast for Unsupervised Visual Representation Learning. CVPR2020.


Authors:Kaiming He, Haoqi Fan, Yuxin Wu, Saining Xie, Ross Girshick. paper code


8. [MoCo v2] Improved Baselines with Momentum Contrastive Learning.


Authors:Xinlei Chen, Haoqi Fan, Ross Girshick, Kaiming He. paper code


9. [SimCLR] A Simple Framework for Contrastive Learning of Visual Representations. ICML2020. Authors:Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton. paper code


10. [SimCLR v2] Big Self-Supervised Models are Strong Semi-Supervised Learners. NIPS2020.


Authors:Ting Chen, Simon Kornblith, Kevin Swersky, Mohammad Norouzi, Geoffrey Hinton. paper code


11. [BYOL] Bootstrap your own latent: A new approach to self-supervised Learning.


Authors:Jean-Bastien Grill, Florian Strub, Florent Altché, Corentin Tallec, Pierre H, etc.


12. [SwAV] Unsupervised Learning of Visual Features by Contrasting Cluster Assignments. NIPS2020. Authors:Mathilde Caron, Ishan Misra, Julien Mairal, Priya Goyal, Piotr Bojanowski, Armand Joulin. paper code


13. [SimSiam] Exploring Simple Siamese Representation Learning. CVPR2021.


Authors:Xinlei Chen, Kaiming He. paper code


14. Hard Negative Mixing for Contrastive Learning. NIPS2020.


Authors:Yannis Kalantidis, Mert Bulent Sariyildiz, Noe Pion, Philippe Weinzaepfel, Diane Larlus. paper


15. Supervised Contrastive Learning. NIPS2020. Authors:Prannay Khosla, Piotr Teterwak, Chen Wang, Aaron Sarna, Yonglong Tian, Phillip Isola, Aaron Maschinot, Ce Liu, Dilip Krishnan. paper


16. [LoCo] LoCo: Local Contrastive Representation Learning. NIPS2020.


Authors:Yuwen Xiong, Mengye Ren, Raquel Urtasun. paper


17. What Makes for Good Views for Contrastive Learning?. NIPS2020.


Authors:Yonglong Tian, Chen Sun, Ben Poole, Dilip Krishnan, Cordelia Schmid, Phillip Isola. paper


18. [ContraGAN] ContraGAN: Contrastive Learning for Conditional Image Generation. NIPS2020.


Authors:Minguk Kang, Jaesik Park. paper code


19. [SpCL] Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID. NIPS2020.


Authors:Yixiao Ge, Feng Zhu, Dapeng Chen, Rui Zhao, Hongsheng Li. paper code


相关文章
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024
阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。
|
2月前
|
机器学习/深度学习 搜索推荐 算法
机器学习-点击率预估-论文速读-20240916
机器学习-点击率预估-论文速读-20240916
36 0
|
2月前
|
机器学习/深度学习 算法
【机器学习】迅速了解什么是集成学习
【机器学习】迅速了解什么是集成学习
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】机器学习、深度学习、强化学习和迁移学习简介、相互对比、区别与联系。
机器学习、深度学习、强化学习和迁移学习都是人工智能领域的子领域,它们之间有一定的联系和区别。下面分别对这四个概念进行解析,并给出相互对比、区别与联系以及应用场景案例分析。
116 1
|
4月前
|
机器学习/深度学习 开发者 Python
Python 与 R 在机器学习入门中的学习曲线差异
【8月更文第6天】在机器学习领域,Python 和 R 是两种非常流行的编程语言。Python 以其简洁的语法和广泛的社区支持著称,而 R 则以其强大的统计功能和数据分析能力受到青睐。本文将探讨这两种语言在机器学习入门阶段的学习曲线差异,并通过构建一个简单的线性回归模型来比较它们的体验。
71 7
|
4月前
|
机器学习/深度学习 存储 人工智能
【ACL2024】阿里云人工智能平台PAI多篇论文入选ACL2024
近期,阿里云人工智能平台PAI的多篇论文在ACL2024上入选。论文成果是阿里云与阿里集团安全部、华南理工大学金连文教授团队、华东师范大学何晓丰教授团队共同研发。ACL(国际计算语言学年会)是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台PAI在自然语言处理和多模态算法、算法框架能力方面研究获得了学术界认可。
|
4月前
|
机器学习/深度学习 运维 算法
【阿里天池-医学影像报告异常检测】3 机器学习模型训练及集成学习Baseline开源
本文介绍了一个基于XGBoost、LightGBM和逻辑回归的集成学习模型,用于医学影像报告异常检测任务,并公开了达到0.83+准确率的基线代码。
73 9
|
4月前
|
机器学习/深度学习
【机器学习】模型融合Ensemble和集成学习Stacking的实现
文章介绍了使用mlxtend和lightgbm库中的分类器,如EnsembleVoteClassifier和StackingClassifier,以及sklearn库中的SVC、KNeighborsClassifier等进行模型集成的方法。
60 1