领先机构排行让我们来看看一些领先的机构在前 100 名的论文数量上是如何排行的:谷歌一直是最强大的参与者,其次是 Meta、微软、加州大学伯克利分校、DeepMind 和斯坦福。虽然如今的工业界在人工智能研究中「呼风唤雨」,单一的学术机构不会产生那么大的影响,但这些机构的尾巴要长得多,所以当我们按组织类型进行汇总时,就会达到平衡。在研究总量方面,过去三年谷歌居首位,清华大学、卡耐基梅隆大学、麻省理工学院、斯坦福大学等高校排名靠前,而微软位居第三位。整体来看,学术机构的研究数量是要多于业界科技企业的,而谷歌、微软这两大科技巨头近三年发表的研究数也是居于高位。实际上,谷歌的科研实力一直很强。2017 年,谷歌发表论文《Attention Is All You Need》,标志着 transformer 的问世。直到今天,transformer 依然是包括 ChatGPT 在内的大部分 NLP 和 CV 模型的架构基础。上个月,在 Bard 发布之际,谷歌 CEO Sundar Pichai 也在一份公开信中表示:「Google AI 和 DeepMind 推动了最先进技术的发展。我们的 Transformer 研究项目和我们 2017 年的领域论文,以及我们在扩散模型方面的重要进展,是当前许多生成式 AI 应用程序的基础。」当然,作为新晋顶流 ChatGPT 背后的公司,OpenAI 近三年的研究成果转化率(Conversion Rate)是具有绝对优势的。最近几年,OpenAI 的大多数研究成果都引起了极大的关注,特别是在大规模语言模型方面。2020 年,OpenAI 发布了 GPT-3,这个 1750 亿参数的大规模语言模型在一定程度上颠覆了语言模型领域的游戏规则,因为它解决了许多大规模语言模型中的难题。GPT-3 掀起了一场大规模语言模型的狂潮。几年来,语言模型的参数规模不断被打破,人们一直在探索大规模语言模型的更多潜力。2022 年底,ChatGPT 横空出世,它引起了人们对文本生成和 AI 对话系统的高度关注。特别地,ChatGPT 在生成知识型内容和生成代码方面已经表现出非常高的能力。在谷歌、微软陆续宣布将类似 ChatGPT 的功能集成到下一代搜索引擎后,ChatGPT 被认为将引领一场 AIGC 和智能工具的新变革。最后,我们来看一下 2022 年被引用次数最多的 100 篇论文具体有哪些:此处还增加了推特提及次数,这有时被视为早期影响指标。但到目前为止,相关性似乎很弱。还需要进一步的工作。原文链接:https://www.zeta-alpha.com/post/must-read-the-100-most-cited-ai-papers-in-2022