【机器学习】引用次数在1.5w次以上神仙论文!(上)

简介: 【机器学习】引用次数在1.5w次以上神仙论文!

前言


小编在这里总结梳理了知乎上“引用次数在15000次以上的都是什么论文?”这一问题的经典回答,希望能帮助到各位进一步了解领域内的相关进展,并且通过阅读这些经典论文或许也会给您带来不少启发。

111.png


正文


1. 机器学习领域


我来列举一些机器学习(Machine Learning)领域的高被引文章。机器学习领域泰斗级学者Geoffrey Hinton的文章引用:1.jpg


引用次数超过15000次文章有:

  1. ImageNet Classification with Deep Convolutional Neural Networks,引用75231次(AlexNet,点燃了深度学习的热潮,因此2012年被认为是深度学习元年,当然要十分感谢ImageNet和GPU的加持);
  2. Learning internal representations by error-propagation & Learning representations by back-propagating errors,引用50716次(BP算法,殿堂级别的成果,几乎所有关于神经网络的文章都会用到BP算法);
  3. Deep learning,引用33222次(“三巨头”关于深度学习的综述文章);
  4. Dropout: a simple way to prevent neural networks from overfitting,引用24452次(Dropout是一种防止深度学习模型过拟合的正则化方法,目前已被Google申请专利,面对封锁,华为诺亚实验室开源了Disout算法,直接对标Google的Dropout);
  5. Visualizing data using t-SNE,引用16957次(t-SNE是一种流形学习方法,用于数据降维和可视化)。


2.jpg

Geoffrey Hinton谷歌学术引用次数


在机器学习领域还有一个泰斗级的人物Jürgen Schmidhuber,他的一篇文章Long short-term memory目前的引用量是40934次,是深度学习-循环神经网络(Recurrent Neural Network, RNN)中的重要成果。但是LeCun Y,Bengio Y和Hinton G在2015年发表在Nature上的文章Deep learning作者中没有Jürgen Schmidhuber,不过Schmidhuber在2015也发表了一篇关于深度学习的综述文章Deep learning in neural networks: An overview,目前的引用量是10917。

3.jpg4.jpg5.jpg

机器学习领域还有一些重要的成果,对应的文章也有不俗的引用量。比如:

  • 一直被对比,从未被超越的Adam,目前的引用量是60604次;
  • 使神经网络训练更快、更稳定的Batch normalization,目前的引用量是22986次;
  • 避免深层网络训练时梯度消失或梯度爆炸的激活函数—线性整流函数ReLU(Rectified linear units improve restricted boltzmann machines),目前的引用量是11548次。
  • Zisserman在2014年发表的关于VGGNet的文章Very deep convolutional networks for large-scale image recognition,目前的引用量是48691次。Google在2015年发表的关于GoogLeNet的文章Going deeper with convolutions,目前的引用量是26353次。何凯明2016年的文章Deep residual learning for image recognition,提出的多达152层ResNet,目前的引用量是63253次。2016年提出的用于目标检测的Faster R-CNN,目前的引用量是24215次。


6.jpg7.jpg


来源:小牧牧(知乎)

https://www.zhihu.com/question/433702668/answer/1617092684


2. 计算机视觉领域


这里重点盘点一下AI领域,特别是CV方向的论文。

值得说一下,自从2012年,特别是2014年后,AI领域再度火爆,延续至今,很多优秀论文(特别是基于深度学习)也是发表在这个期间,引用量也迅速爆炸。

  • 注:下面会边介绍作者,边介绍论文,侧重点有点不同。


计算机视觉领域引用量1.5万+的论文

Andrew Zisserman(传闻欧洲计算机视觉第一人)

第一篇引用量近5万的是:深度学习时代的经典backbone模型VGG:Very deep convolutional networks for large-scale image recognition

第二篇引用量近3万,这其实是一本书《Multiple view geometry in computer vision》,可称为深度学习时代前的CV必读之作(现在其实也强推,但不少新入坑CV的人,直接跳过这些基础知识,去玩CNN了)

Jitendra Malik
8.jpg
加州大学伯克利分校的电子工程与计算机科学系(EECS)教授 Jitendra Malik获颁 2019 年 IEEE 计算机先驱奖。

第一篇引用量近4万,算是12年之前人工智能最经典的书籍,内容覆盖范围相当之广。不过Jitendra Malik并非一二作,所以搜索该书的时候,不容易看到他的名字。第二篇引用量近1.7万,基于传统方法的图像分割代表作!

下面说说深度学习三巨头(Hinton、Bengio和LeCun)

Geoffrey Hinton

Hinton的代表作太多了,1.5万+引用量的论文见下图(6篇)。比如
9.jpg
第一篇引用量7.5万+,发表于2012年的AlexNet!永远滴神!第二篇引用量3.3万+,是为了纪念人工智能60周年,深度学习三巨头合作在Nature上发表深度学习的综述性文章:Deep Learning还有4篇破1.5万引用量的论文,这里不赘述,膜拜即可!

Yoshua Bengio

Bengio教授的代表作也太多了,1.5万+引用量的论文见下图(5篇)。比如:
10.jpg

第一篇上面说过了,是深度学习三巨头合著的。第二篇引用量3万+,这是和LeCun提出了当时风靡一时的字符识别器(当时就是典型落地应用)第三篇引用量2.5万+,这是和Goodfellow提出了鼎鼎大名的GAN!第四篇引用量2万+,这是和Goodfellow发布了深度学习时代的"圣经"书籍:Deep Learning,国内不少人又称为花书。

Yann LeCun

LeCun大佬的两篇破1.5万的工作,上面已经介绍了。
11.jpg

Luc Van Gool
Luc Van Gool 苏黎世联邦理工学院教授,据了解,有若干中国学生曾师从于他。
这篇近3万引用量就是非常著名的SURF算法。
12.jpg

上面提到SURF算法,就不得不提SIFT算法。

David Lowe
13.jpg
SIFT算法引用量近6万!其是手工特征时代的最具代表性工作!SURF、ORB在它面前都是弟弟,截止目前SIFT仍被广泛应用,相当能打!

Trevor Darrell
第一篇引用量近2万,鼎鼎大名的基于FCN的语义分割网络!第二篇引用量1.5万+,鼎鼎大名的R-CNN目标检测网络。
14.jpg

李飞飞(Li Fei-Fei)
李飞飞女神,创建了ImageNet数据集和相关赛事~ 影响力巨大。
15.jpg
上述主要是AI、CV领域的大前辈(年龄基本40+),这里重点介绍几位"新秀":

何恺明(Kaiming He)
做CV的应该都听过何恺明,有鼎鼎大名的ResNet、Faster R-CNN、Mask R-CNN、Focal Loss、FPN和近期的MoCo等工作。
16.jpg
第一篇是目前CV主流使用的backbone:ResNet,永远滴神!第二篇是目标检测领域代表性网络:Faster R-CNN。
估计17年发表的Mask R-CNN 也快破1.5万引用量了。

Ross Girshick
他与何恺明算是合作搭档,都在FAIR工作,有不少合作的工作。
有鼎鼎大名的R-CNN系列工作,合作的有Caffe、Mask R-CNN、Focal Loss、FPN和YOLO等工作。
17.jpg

Ian Goodfellow
GAN 之父!下面三个工作都是目前顶级活跃的,比如GAN、Deep Learning书籍和TensorFlow框架。
18.jpg

任少卿(Shaoqing Ren)
Faster R-CNN一作!貌似现在不做研究了,主要在企业(目前在蔚来)担任技术主管/副总裁。
19.jpg

其实CV领域还有很多超1.5万的论文,限于篇幅这里就不一一盘点:
20.jpg

作者:BeyondSelf(知乎)

https://www.zhihu.com/question/433702668/answer/1624083551


相关文章
|
7月前
|
机器学习/深度学习 人工智能 算法
【AAAI 2024】再创佳绩!阿里云人工智能平台PAI多篇论文入选
阿里云人工智能平台PAI发表的多篇论文在AAAI-2024上正式亮相发表。AAAI是由国际人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。论文成果是阿里云与浙江大学、华南理工大学联合培养项目等共同研发,深耕以通用人工智能(AGI)为目标的一系列基础科学与工程问题,包括多模态理解模型、小样本类增量学习、深度表格学习和文档版面此次入选意味着阿里云人工智能平台PAI自研的深度学习算法达到了全球业界先进水平,获得了国际学者的认可,展现了阿里云人工智能技术创新在国际上的竞争力。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
【EMNLP2024】阿里云人工智能平台 PAI 多篇论文入选 EMNLP2024
阿里云人工智能平台 PAI 的多篇论文在 EMNLP2024 上入选。论文成果是阿里云与华南理工大学金连文教授团队、复旦大学王鹏教授团队共同研发。EMNLP 是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究,尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台 PAI 在自然语言处理和多模态算法能力方面研究获得了学术界认可。
|
2月前
|
机器学习/深度学习 搜索推荐 算法
机器学习-点击率预估-论文速读-20240916
机器学习-点击率预估-论文速读-20240916
36 0
|
4月前
|
机器学习/深度学习 存储 人工智能
【ACL2024】阿里云人工智能平台PAI多篇论文入选ACL2024
近期,阿里云人工智能平台PAI的多篇论文在ACL2024上入选。论文成果是阿里云与阿里集团安全部、华南理工大学金连文教授团队、华东师范大学何晓丰教授团队共同研发。ACL(国际计算语言学年会)是人工智能自然语言处理领域的顶级国际会议,聚焦于自然语言处理技术在各个应用场景的学术研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新,在学术和工业界都有巨大的影响力。此次入选标志着阿里云人工智能平台PAI在自然语言处理和多模态算法、算法框架能力方面研究获得了学术界认可。
|
5月前
|
机器学习/深度学习 人工智能 分布式计算
阿里云人工智能平台PAI论文入选OSDI '24
阿里云人工智能平台PAI的论文《Llumnix: Dynamic Scheduling for Large Language Model Serving》被OSDI '24录用。论文通过对大语言模型(LLM)推理请求的动态调度,大幅提升了推理服务质量和性价比。
|
5月前
|
机器学习/深度学习 人工智能 自然语言处理
|
4月前
|
机器学习/深度学习 数据采集 自然语言处理
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案–4 机器学习LGB 方案
在讯飞英文学术论文分类挑战赛中使用LightGBM模型进行文本分类的方案,包括数据预处理、特征提取、模型训练及多折交叉验证等步骤,并提供了相关的代码实现。
53 0
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
【CVPR2024】阿里云人工智能平台PAI图像编辑算法论文入选CVPR2024
近期,阿里云人工智能平台PAI发表的图像编辑算法论文在CVPR-2024上正式亮相发表。论文成果是阿里云与华南理工大学贾奎教授领衔的团队共同研发。此次入选标志着阿里云人工智能平台PAI自主研发的图像编辑算法达到了先进水平,赢得了国际学术界的认可。在阿里云人工智能平台PAI算法团队和华南理工大学的老师学生们一同的坚持和热情下,将阿里云在图像生成与编辑领域的先进理念得以通过学术论文和会议的形式,向业界传递和展现。