DNA 预测进入新时代!DeepMind 发布新模型Enformer,一次可编码20万个碱基对

简介: DNA 存在大量的片段,破译信息是一个费时费力的工作,能否用AI 的力量来解决这个问题?DeepMind最近发布了一个新模型Enformer,能够一次编码超过20万个碱基对来进行预测,超过以往方法的5倍,准确率大大提升。

DNA 一直是生物中最神秘的存在,为了测量DNA 序列,1988年美国国家科学院的一个特别委员提出人类基因组计划(Human Genome Projec, HGP),它是一项规模高,跨国跨学科的科学探索巨型工程。 其宗旨在于测定组成人类染色体(指单倍体)中所包含的六十亿对组成的核苷酸序列,从而绘制人类基因组图谱,并且辨识其载有的基因及其序列,达到破译人类遗传信息的最终目的。 

30.jpg截至2005年,人类基因组计划的测序工作已经基本完成(92%)。2020年突破性技术进展就包括,针对不同人的基因研发的个性化药物、根据基因研发的抗衰老药物等,可以说生物技术的发展离不开基因测序。 国际研究界也对更好地了解影响人类健康和发展的遗传指令的机会感到兴奋。DNA 携带决定一切的遗传信息,从眼睛颜色到对某些疾病的易感性。人体中大约 20,000 个称为基因的 DNA 部分包含有关蛋白质氨基酸序列的说明,这些蛋白质在我们的细胞中执行许多基本功能。 然而,这些基因只占基因组的不到 2%。剩余的碱基对占基因组 30 亿个“字母”中的 98%,被称为非编码(non-coding),包含关于基因应该在人体中何时何地产生或表达的不太容易理解的说明。 DeepMind 始终相信人工智能可以更深入地了解此类复杂领域,可以加速科学进步并为人类健康带来潜在益处,最近他们发表了一篇论文,引入一种称为 Enformer 的神经网络架构,该架构大大提高了从 DNA 序列预测基因表达的准确性。 31.jpg 为了进一步研究疾病中的基因调控和因果因素,DeepMind 还公开提供了模型及其对常见遗传变异的初步预测。32.jpg以前关于基因表达的工作通常使用卷积神经网络作为基本构建块,但它们在模拟远端增强子对基因表达的影响方面的局限性阻碍了它们的准确性和应用。 最初的基因探索依赖于 Basenji2,它可以从 40,000 个碱基对的相对较长的 DNA 序列中预测调节活性。受这项工作的启发,以及调控 DNA 元件可以影响更远距离表达的知识,可以改变基本的模型架构改变来捕获长序列。 DeepMind 开发了一种基于 Transformers 的新模型,Transformer在自然语言处理中很常见,可以利用可以整合更多 DNA 上下文的自我注意机制。 由于 Transformers 是查看长文本段落的理想选择,因此DeepMind 对它们进行了改造,以读取大量扩展的 DNA 序列。 通过有效地处理序列,新模型能够比先前方法编码长度超过 5 倍(即 200,000 个碱基对)的距离的相互作用,并且模型架构可以模拟称为增强子(enhancer)的重要调控元件对 DNA 序列中更远距离的基因表达的影响。 33.jpgEnformer 被训练来预测功能基因组数据,包括来自输入 DNA 的 200,000 个碱基对的基因表达。上面的示例包含 5,000 多个可能的基因组轨迹中的三个。通过使用使用注意力收集整个序列的信息的Transformer 模块,与以前的模型相比,能够更有效地考虑更长的输入序列。 为了更好地理解 Enformer 如何解释 DNA 序列以得出更准确的预测,研究人员使用贡献分数来突出输入序列的哪些部分对预测影响最大。与生物学直觉相匹配,可以观察到,即使位于距离基因超过 50,000 个碱基对的位置,该模型也会关注增强子。 预测哪些增强子调节哪些基因仍然是基因组学中尚未解决的主要问题,因此目前来看 Enformer 的贡献分数只能与专门为此任务开发的现有方法(使用实验数据作为输入)相当。 Enformer 还学习到了绝缘体元件(insulator elements),它将 DNA 的两个独立调节区域分开。 34.jpg虽然现在可以完整地研究生物体的 DNA,但需要复杂的实验来了解基因组。尽管进行了巨大的实验努力,但绝大多数 DNA 对基因表达的控制仍然是个谜。 借助人工智能,研究人员可以探索在基因组中寻找模式的新可能性,并提供有关序列变化的机械假设。与拼写检查器类似,Enformer 部分理解 DNA 序列的词汇,因此可以突出显示可能导致基因表达改变的编辑。 这种新模型的主要应用是预测 DNA 字母的哪些变化(也称为遗传变异)会改变基因的表达。 与之前的模型相比,Enformer 在预测变异对基因表达的影响方面要准确得多,无论是在自然遗传变异的情况下,还是在改变重要调控序列的合成变异的情况下。 此属性可用于解释通过全基因组关联研究获得的越来越多的疾病相关变异。与复杂遗传疾病相关的变异主要位于基因组的非编码区域,可能通过改变基因表达导致疾病。 但由于变异之间的内在相关性,许多这些与疾病相关的变异只是假相关而不是因果关系。计算工具现在可以帮助区分真正的关联和误报。35.jpg上图显示了位于免疫反应基因 NLRC5 中的变体 rs11644125 与较低水平的单核细胞和淋巴细胞白细胞有关。 通过系统地突变围绕变体的每个位置并预测 NLRC5 基因表达的结果变化(显示为字母高度),可以观察到该变体导致 NLRC5 的整体表达降低并调节称为 SP1 的转录因子的已知结合基序。 因此,Enformer 的预测表明,由于 SP1 结合受到干扰,该变体对白细胞计数的影响背后的生物学机制是降低 NLRC5 基因表达。 当然这项工作远未解决人类基因组中存在的无法解释的难题,但 Enformer 是在理解基因组序列复杂性方面向前迈出的一步。 如果读者有兴趣使用 AI 来探索基本细胞过程的工作原理、它们如何在 DNA 序列中编码,以及如何构建新系统来推进基因组学和对疾病的理解,DeepMind 正在招聘。 36.jpg

相关文章
|
1月前
|
存储 数据采集 数据安全/隐私保护
商汤、清华、复旦等开源百亿级多模态数据集,可训练类GPT-4o模型
商汤科技、清华大学和复旦大学等机构联合开源了名为OmniCorpus的多模态数据集,规模达百亿级,旨在支持类似GPT-4级别的大型多模态模型训练。该数据集包含86亿张图像和1696亿个文本标记,远超现有数据集规模并保持高质量,具备广泛来源和灵活性,可轻松转换为纯文本或图像-文本对。经验证,该数据集质量优良,有望促进多模态模型研究,但同时也面临存储管理、数据偏见及隐私保护等挑战。
143 60
|
2月前
|
人工智能 安全 数据处理
21.5万张X光,78万个问题!德州大学NIH等联合发布医学视觉问答数据集Medical-CXR-VQA
【9月更文挑战第2天】近年来,人工智能在医学领域的应用取得显著进展,特别是医学视觉问答(VQA)技术。德州大学与美国国立卫生研究院(NIH)联合发布的Medical-CXR-VQA数据集包含21.5万张X光图像和78万个问题,是当前最大的医学VQA数据集之一。其多样化的问题类型和高质量的标注,为研究者提供了丰富资源,推动医学视觉问答技术的发展。该数据集的开放共享促进了领域内的合作与交流,并有望提升临床诊断和病情评估的效率与质量,成为医学人工智能领域的重要里程碑。然而,数据隐私、标注一致性和模型可解释性等问题仍需进一步解决。
78 13
|
3月前
|
机器学习/深度学习
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
【8月更文挑战第16天】近日,清华大学等机构发布了MultiTrust多模态评估研究,旨在全面评估大型语言模型的可信度。这是首个统一的多模态基准,覆盖真实性、安全性等五大方面,包含32个任务。研究对21个现代模型进行了实验,揭示了可信度问题和风险,强调了提高模型可靠性的重要性。结果显示开源模型在可信度上落后于专有模型,特别是在安全性方面。此外,研究还发现了模型在鲁棒性、公平性和隐私方面的挑战。论文已发布于arxiv.org。
57 1
|
6月前
|
人工智能
MIT等首次深度研究集成LLM预测能力:可媲美人类群体准确率
【4月更文挑战第16天】研究人员集成12个大型语言模型(LLM)组成“硅基群体”,在预测比赛中与925名人类预测者对比。研究发现,LLM群体的预测准确性与人类群体无显著差异,且通过集成可抵消个体模型的偏差,提高预测准确。GPT-4和Claude 2等模型结合人类预测后,准确度提升17%至28%。然而,个别LLM预测精度不一,模型选择和校准度是提升预测性能的关键,同时LLM在时间跨度和现实场景适应性方面仍有挑战。
91 6
MIT等首次深度研究集成LLM预测能力:可媲美人类群体准确率
|
数据采集 人工智能 算法
ECCV 2022 | 76小时动捕,最大规模数字人多模态数据集开源
ECCV 2022 | 76小时动捕,最大规模数字人多模态数据集开源
175 0
|
传感器 人工智能 编解码
世界首个!Meta AI开放6亿+宏基因组蛋白质结构图谱,150亿语言模型用两周完成
世界首个!Meta AI开放6亿+宏基因组蛋白质结构图谱,150亿语言模型用两周完成
135 0
|
机器学习/深度学习 存储 安全
首个X光下的小样本检测基准和弱特征增强网络,北航、讯飞新研究入选ACM MM 2022
首个X光下的小样本检测基准和弱特征增强网络,北航、讯飞新研究入选ACM MM 2022
180 0
|
机器学习/深度学习 人工智能 自然语言处理
从50亿图文中提取中文跨模态新基准Zero,奇虎360全新预训练框架超越多项SOTA(1)
从50亿图文中提取中文跨模态新基准Zero,奇虎360全新预训练框架超越多项SOTA
124 0
|
自然语言处理 数据可视化 算法
从50亿图文中提取中文跨模态新基准Zero,奇虎360全新预训练框架超越多项SOTA(2)
从50亿图文中提取中文跨模态新基准Zero,奇虎360全新预训练框架超越多项SOTA
189 0
|
机器学习/深度学习 自然语言处理 安全
少到4个示例,击败所有少样本学习:DeepMind新型800亿模型真学会了
少到4个示例,击败所有少样本学习:DeepMind新型800亿模型真学会了
178 0
下一篇
无影云桌面