【新智元导读】斯坦福大牛Christopher Manning开设的Transformer联合讲座课程更新啦！这期请来的是Hinton大神。
图灵奖得主、深度学习教父Geoffrey Hinton在斯坦福线上开课啦？本课程是斯坦福大学计算机科学家Christopher Manning教授开设的CS25: Transformers United联合讲座课程。课程邀请了学术界和产业界关于Transformer架构的知名学者和工程师主讲，来自谷歌、OpenAI、牛津大学、Meta AI、DeepMind等学术机构和企业。
本讲座共分10期，随授课内容推进而陆续在线更新视频。（第一期为总览介绍）最近更新的是最后一期，主讲人是大名鼎鼎的人工智能领域先驱人物、图灵奖得主Geoffrey Hinton。讲座链接就放在这里啦，有兴趣的童鞋可以看看~https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM
这期课程中，Hinton提出了一个关于表征的新想法，名为GLOM的想象系统，由几个不同团队研究成果的结合。其中包括Transformer、神经场、对比性表征学习等内容。GLOM要解决的问题是，一个具有固定架构的神经网络如何能将一幅图像解析成一个「部分-整体」的层次结构，且结果对每一幅图像都是不同的？GLOM背后的想法很简单，就是用相同矢量的岛屿来表示解析树中的节点。在这期讲座中，将讨论这个想法的影响。如果GLOM能够发挥作用，那么当其用于视觉或语言时，应该能极大地改善由类似transformer系统产生的表示的可解释性。
Hinton在这期讲座中将最近神经网络领域的三个重要成果融合在了一起，即Transformer、通过对比协议的非监督学习的视觉表示、以及使用神经野图像的生成模型。
Hinton表示，他将这三项成果组合在一起，搞出一个新的图像视觉系统，名叫GLOM, 比现有深度网络更接近人类认知。Geoffrey Hinton是多伦多大学的名誉教授，深度学习界的领军人物，是引入反向传播算法的先驱研究者之一，并与他的研究小组一起，为推动神经网络领域的发展做出了重大突破和贡献。
Hinton荣誉等身，曾获David E. Rumelhart奖、IJCAI卓越研究奖、Killam工程奖、IEEE Frank Rosenblatt奖章、NSERC Herzberg金奖、IEEE James Clerk Maxwell金奖、NEC C&C奖、BBVA奖、本田奖和图灵奖。说了那么多，先来看看这十期课程都有哪些干货吧~1.Introduction to Transformers（引入课程）主讲人: Div Grag，Chetanya Rastogi，Advay Pal
推荐阅读：Attention Is All You Need论文地址：https://arxiv.org/abs/1706.03762
2.Transformers in Language: GPT-3, Codex主讲人：Mark Chen (OpenAI)这节课的主讲人Mark Chen是来自OpenAI的一名研究科学家，负责管理OpenAI的算法团队。他的研究兴趣包括生成建模和表示学习，尤其是在图像和多模态领域。Mark毕业于麻省理工学院，值得一提的是，Mark还是美国计算机奥赛的教练。
本节课程回顾了神经语言建模的最新进展，并讨论了生成文本（generating text）和解决下游任务之间的联系，并探讨OpenAI开发GPT模型的过程。接下来，我们将看到如何使用相同的方法在图像、文本到图像和代码等其他领域生成生成模型和强表示。课程最后，我们将深入研究最近发布的代码生成模型 Codex。3.Transformers in Vision: Tackling problems in Computer Vision主讲人：Lucas Beyer (Google Research Brain Team)
推荐阅读：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale论文地址：https://arxiv.org/abs/2010.119294. Decision Transformer: Reinforcement Learning via Sequence Modeling主讲人：Aditya Grover
推荐阅读：Pretrained Transformers as Universal Computation Engines论文地址：https://arxiv.org/abs/2103.052475. Mixture of Experts (MoE) paradigm and the Switch Transformer主讲人：Barret Zoph (Google Brain) ，Irwan Bello，Liam Fedus
6.Deep Mind's Perceiver and Perceiver IO: new data family architecture主讲人：Andrew Jaegle (DeepMind)
7.Self Attention and Non-parametric transformers (NPTs)主讲人：Aidan Gomez (University of Oxford)
8.Transformer Circuits, Induction Heads, In-Context Learning主讲人：Chris Olah (Anthropic AI)
9.Audio Research: Transformers for Applications in Audio, Speech and Music主讲人：Prateek Verma (Stanford)
参考资料：https://twitter.com/DivGarg9/status/1545541542235975682?s=20&t=_Ed9dpjD9Qpx4svpMNDIKQ&fbclid=IwAR2tnSQROnkOQl15aa6nkfNFaJdrnZQHDbidooDaQRJALlWsYMiQU_37dn4https://web.stanford.edu/class/cs25/
