Meta让150亿参数语言模型学会从头设计「全新」蛋白质！LeCun：效果惊人
新智元新智元 2022-12-23 13:19 发表于北京
新智元报道
编辑：编辑部
【新智元导读】Meta最新力作！经过训练的语言模型直接化身「造物主」，可以设计、生成蛋白质，生命的终极奥秘要被人工智能发现了吗？
AI在生物医学领域再次获得新进展。没错，这次还和蛋白质有关。
不同的是，过去的AI是发现蛋白质结构，这回开始自己设计和生成蛋白质结构了。如果说过去是「检察官」，现在说是进化成了「造物主」也不是不行。
参与本项研究的是Meta的AI研究机构中包括FAIR的蛋白质研究团队。作为在Facebook任职多年的首席AI科学家，Yann LeCun也是第一时间转发了这个自家团队的成果，并给予高度评价。
BioRxiv上的这两篇论文是Meta在蛋白质设计/生成方面的「惊人」的成果。该系统使用模拟退火算法来寻找一个氨基酸序列，该序列的折叠方式符合所需的形状或满足约束条件（如对称性）。
ESM2，原子层级结构预测的模型
你猜的没错，这项研究和这两篇论文的基础，正是不久前由Meta提出的蛋白质预测和发现的大语言模型：ESM2。
这是一个150亿参数的大模型。随着模型从800万个参数扩展到1500万个参数，内部表征中出现的信息能够在原子分辨率下进行三维结构预测。
利用大型语言模型来学习进化模式，可以直接从蛋白质序列中端到端地生成准确的结构预测，在保持准确性的同时，预测速度比当前最先进的方法快60倍。事实上，借助于这种新的结构预测能力，Meta在短短两周内用一个由大约2000个GPU组成的集群上，预测出了图谱中超过6亿个宏基因组蛋白质的序列。两篇论文的通信作者，来自Meta AI的Alex Rives表示，ESM2语言模型展现出的通用性不仅超出了天然蛋白质的范围，而且还能够可编程地生成复杂和模块化的蛋白质结构。
蛋白质设计「专用编程语言」
工欲善其事，必先利其器。为了让蛋白质设计和生成更有效率，研究人员在之前成果（主要是ESM2）的基础上，还专门开发了一种面向蛋白质设计的高级编程语言。
论文地址：https://www.biorxiv.org/content/10.1101/2022.12.21.521526v1该研究的主要负责人之一，论文「A high-level programming language for generative protein design」的通讯作者Alex Rives在社交媒体上表示，这个成果，使得对具有复杂和模块化结构的大型蛋白质和复合物的生成进行编程成为可能。论文作者之一、斯坦福大学的研究人员Brian Hie在推特上也对这篇文章的主要研究思路和成果做了自己的解释。总体上讲，这篇文章描述了生成式机器学习如何实现由用于蛋白质设计的高级编程语言控制的复杂蛋白质的模块化设计。
他表示，这篇文章的主要想法不是使用序列或结构的构建块，而是将模块化置于更高的抽象级别，并让黑盒优化生成特定设计。优化的每一步预测原子级结构。
与之前的蛋白质设计方法相比，这种新思路产生的方法可以让设计者指定任意的、不可微的约束，范围从指定原子级坐标到蛋白质的抽象设计方案，比如对称设计。
对于可编程性来说，约束条件是模块化的，这一点很重要。比如下图就是将同一约束分层应用于两个层次的对称性编程的情况。
这些约束也很容易重新组合。比如，可以把对原子坐标的约束和对对称性的约束结合起来。或者可以将不同形式的两级对称性结合起来，为一个不对称的复合结构体编程。
