斯坦福、微软联手,用扩散模型进行蛋白质结构生成,已开源

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 斯坦福、微软联手,用扩散模型进行蛋白质结构生成,已开源

尽管最近研究者在蛋白质结构预测方面取得了进展,但从神经网络直接生成不同的、新颖的蛋白质结构仍然很困难。在这项工作中,本文提出了一种新的基于扩散的生成模型,该模型通过一种反映蛋白质原生折叠过程的过程来设计蛋白质的主链结构。


蛋白质对生命至关重要,几乎在每个生物过程中都发挥着作用。一方面它们能在神经元之间传递信号、识别微观入侵者并激活免疫反应等。另一方面,蛋白质作为一种治疗介质已经得到广泛研究,成为治疗疾病的一部分。因此,通过生成新的、物理上可折叠的蛋白质结构,打开了利用细胞通路治疗疾病新方法的大门。


本文中,来自斯坦福大学、微软研究院等机构的研究者,他们受体内蛋白质折叠过程的启发,从而引入了一个折叠扩散( folding diffusion,FoldingDiff  )模型,该模型通过镜像蛋白质天然折叠过程来设计蛋白质主链结构。




具体而言,他们将蛋白质主链结构描述为一系列连续的角度,以捕捉组成氨基酸残基的相对方向,这种表示的固有位移和旋转不变性极大地减轻了对复杂等变网络的需要。


该研究基于 transformer 骨干训练了一个去噪扩散概率模型,并证明本文的模型可以无条件地生成高度逼真的蛋白质结构,其复杂性和结构模式类似于天然蛋白质。



有网友表示:不知道这个模型是否会为 AlphaFold 带来一些竞争。



方法及结果


我们可以将蛋白质理解为是可变长度的氨基酸残基链,典型氨基酸有 20 种,享有相同的三原子 N - C_α - C 主链,但具有不同的侧链连接到 C_α 原子上(通常表示为 R,参见图 1 所示 )。


这些残基组装形成聚合物链,折叠成 3D 结构,其形状在很大程度上决定了蛋白质的功能。这些折叠结构可以用四个层次来描述:


  • 一级结构,简单地捕捉氨基酸的线性序列;
  • 二级结构,描述氨基酸的局部排列;
  • 三级结构,描述所有残基的完整空间排列;
  • 四级结构,描述多个不同的氨基酸链如何聚集在一起形成更大的复合物。


该研究提出了一个简化的蛋白质主链框架,它遵循蛋白质折叠的生物学过程,同时消除了复杂的等变网络的需要。与其将长度为 N 个氨基酸的蛋白质主链视为三维坐标,他们把它看作由六个内角、连续角组成的序列。也就是说,给定当前残基的位置,六个内角的向量描述了下一个残基中所有主链原子的相对位置。这些内角可以使用三角函数轻松计算,迭代地将原子添加到蛋白质骨架中,然后在转换回 3D 笛卡尔坐标。




下图为一项实验结果。自然结构的 Ramachandran 图(图 a)包含三个区域,分别对应于 LH  α螺旋、RH  α 螺旋和β sheet。所有这三个区域都在本文生成的结构中全部再现(图 3b)。换句话说,FoldingDiff 能够生成蛋白质主链中的二级结构元素。此外,实验还表明 FoldingDiff 模型能够正确地了解到 RH  α 螺旋比 LH  α 螺旋更常见。而先前的工作使用等变网络,是无法区分这两种类型的螺旋的。



下图为在测试主链 (4a) 和生成主链 (4b) 中出现二级结构的二维直方图,结果表明生成的结构反映了蛋白质真实的结构,有多个α螺旋,多个β sheets ,以及两者的混合。



下图表明,在生成的 780 个结构中有 111 个(占比为 14.2%)是可设计的,其 scTM 评分≥0.5(图 5a),高于 Trippe 等人报告的 11.8% 的值。我们还看到,生成的主链与训练示例更相似,往往具有更好的可设计性(5b)。


了解更多内容,请阅读原论文。

相关文章
|
1月前
|
机器学习/深度学习 人工智能 机器人
何恺明新作出炉!异构预训练Transformer颠覆本体视觉学习范式,AI性能暴涨超20%
【10月更文挑战第29天】在机器人学习领域,训练通用模型面临数据异构性的挑战。近期研究“Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers”提出异构预训练Transformer(HPT),通过大规模预训练学习跨不同本体和任务的共享表示,显著提升了性能。实验结果显示,HPT在未见过的任务上表现优异,性能提升超过20%。
67 6
|
5月前
|
编解码 文字识别 计算机视觉
寒武纪1号诞生:谢赛宁Yann LeCun团队发布最强开源多模态LLM
【7月更文挑战第10天】【寒武纪1号】- 谢赛宁、Yann LeCun团队发布开源多模态LLM,含8B至34B规模模型,创新空间视觉聚合器(SVA)提升视觉-语言集成,建立新基准CV-Bench及大规模训练数据集Cambrian-7M。在多模态任务中表现出色,尤其在高分辨率图像处理上,但面临高分辨率信息处理和部分视觉任务评估的局限。[链接](https://arxiv.org/pdf/2406.16860)
126 1
|
7月前
|
机器学习/深度学习 自然语言处理
“大模型+强化学习”最新综述!港中文深圳130余篇论文:详解四条主流技术路线
【4月更文挑战第17天】香港中文大学(深圳)研究团队发表综述论文,探讨大型语言模型(LLMs)与强化学习(RL)结合的四条技术路线:信息处理器、奖励设计者、决策制定者和生成器。LLMs提升RL在多任务学习和样本效率,但处理复杂环境时仍有挑战。它们能设计奖励函数,但预训练知识限制在专业任务中的应用。作为决策者和生成器,LLMs提高样本效率和行为解释,但计算开销是问题。
405 1
“大模型+强化学习”最新综述!港中文深圳130余篇论文:详解四条主流技术路线
|
机器学习/深度学习 数据采集 人工智能
大型语言模型综述全新出炉:从T5到GPT-4最全盘点,国内20余位研究者联合撰写(2)
大型语言模型综述全新出炉:从T5到GPT-4最全盘点,国内20余位研究者联合撰写
236 0
|
机器学习/深度学习 人工智能 自然语言处理
大型语言模型综述全新出炉:从T5到GPT-4最全盘点,国内20余位研究者联合撰写(1)
大型语言模型综述全新出炉:从T5到GPT-4最全盘点,国内20余位研究者联合撰写
378 0
|
人工智能 算法 网络架构
清华朱军团队开源首个基于Transformer的多模态扩散大模型,文图互生、改写全拿下(1)
清华朱军团队开源首个基于Transformer的多模态扩散大模型,文图互生、改写全拿下
204 0
清华朱军团队开源首个基于Transformer的多模态扩散大模型,文图互生、改写全拿下(2)
清华朱军团队开源首个基于Transformer的多模态扩散大模型,文图互生、改写全拿下
233 0
|
机器学习/深度学习 人工智能 自然语言处理
中山大学HCP实验室新突破:用因果范式再升级多模态大模型
中山大学HCP实验室新突破:用因果范式再升级多模态大模型
155 0
|
机器学习/深度学习 人工智能 算法
强化学习中的Transformer发展到哪一步了?清华、北大等联合发布TransformRL综述(1)
强化学习中的Transformer发展到哪一步了?清华、北大等联合发布TransformRL综述
174 0
|
机器学习/深度学习 存储 自然语言处理
强化学习中的Transformer发展到哪一步了?清华、北大等联合发布TransformRL综述(2)
强化学习中的Transformer发展到哪一步了?清华、北大等联合发布TransformRL综述
233 0

热门文章

最新文章

下一篇
DataWorks