突破神经网络限制,量子蒙特卡洛研究新进展登Nature子刊

简介: 突破神经网络限制,量子蒙特卡洛研究新进展登Nature子刊



时隔四个月,ByteDance Research 与北京大学物理学院陈基课题组又一合作工作登上国际顶级刊物 Nature Communications:论文《 Towards the ground state of molecules via diffusion Monte Carlo on neural networks 》将神经网络与扩散蒙特卡洛方法结合,大幅提升神经网络方法在量子化学相关任务上的计算精度、效率以及体系规模,成为最新 SOTA。



简介

作者将基于神经网络的试探波函数运用于固定节点面的扩散蒙特卡洛方法 (Diffusion Monte Carlo, or DMC) ,用以精确计算具有不同电子特性的原子以及分子系统。

扩散蒙特卡洛方法是量子化学领域精确计算分子和材料基态能量的常用方法之一。通过与扩散蒙特卡洛方法结合,作者显著提高了量子化学中神经网络 SOTA 方法的计算精度与效率。此外作者还提出了一种基于经验线性关系的外推方法,大幅改善了分子结合能计算。总体而言,该计算框架作为求解量子多体问题的高精度方法,为化学分子性质的深入理解提供了更强大的工具。

基于神经网络的量子蒙特卡洛方法



2018 年以来,多个研究小组将神经网络运用于变分蒙特卡洛方法 (Variational Monte Carlo, or VMC) 中 [1,2,3],借助神经网络强大的表达能力,得到了更为精确的分子基态能量。本工作于 2022 年公开时,基于神经网络的变分蒙特卡洛方法中的 SOTA 工作是 DeepMind 于 2019 年提出的 FermiNet [2],能够在规模较小的体系上得到非常精确的结果。然而变分蒙特卡洛方法的精度受限于神经网络的表达能力,在处理较大体系时会有越来越明显的精度问题。此外该类方法在处理较大体系时收敛非常缓慢,对计算资源提出了巨大挑战。

扩散蒙特卡洛方法作为量子化学领域的经典高精度算法之一,具有精度高、可并行性好、适合进行大规模计算等良好的特性。此外扩散蒙特卡洛可以突破神经网络的表达能力限制,利用投影算法超越变分蒙特卡洛方法的精度。

本工作中,作者将 SOTA 的神经网络 (FermiNet) 作为试探波函数与扩散蒙特卡洛方法结合。新的计算方法相比于 FermiNet 显著提升了精度并减少了所需的计算步数。本工作中所设计并实现的扩散蒙特卡洛软件具有神经网络友好、GPU 友好、并行友好的特点,可以与广泛的神经网络波函数结合,自动提升其精度与效率。

计算结果
1. 原子
使用神经网络对大型分子体系进行量子蒙特卡洛计算时,由于算力限制,所能使用的神经网络的表达能力也会受到一定限制。为了模拟这一场景,作者使用了仅仅两层的神经网络来研究第二、三排的原子。计算结果显示随着体系变大,变分蒙特卡洛方法的精度愈来愈差,而扩散蒙特卡洛方法所带来的精度提升也愈来愈明显。


2. 分子
作者在一系列分子体系上也验证了基于神经网络的扩散蒙特卡洛方法的有效性,包括氮气分子,环丁二烯以及双水分子。在所测试的体系上均观察到了明显的计算精度提升。


3. 苯环及双苯环
本工作公开前,量子化学领域中基于变分蒙特卡洛的神经网络波函数方法只处理过 30 电子以内的小型分子。本工作首次将神经网络波函数方法应用于 42~84 个电子的体系,即苯环与双苯环。计算结果显示,扩散蒙特卡洛方法在精度上显著优于变分蒙特卡洛方法,同时可以用少一个数量级的计算步数达到相同或更优的精度。



4. 线性关系及外推方法

作者在考察神经网络的不同训练阶段所对应的能量时,在很多体系上均发现变分蒙特卡洛与扩散蒙特卡洛的计算结果具有经验性的线性关系(下左图)。使用该线性关系对双苯环的解离能计算进行外推,显著提升了计算精度,得到了吻合于化学实验的结果(下右图)。



结语与展望

本工作表明,基于神经网络的扩散蒙特卡洛方法在精度与效率上均优于变分蒙特卡洛方法。作者开源的扩散蒙特卡洛代码可以与量子化学领域不断推陈出新的神经网络 [4,5] 快速结合,实现对研究社区的赋能。此外扩散蒙特卡洛方法也可以与处理真实固体的周期性神经网络 [6]、带赝势的神经网络 [7] 等一系列方法结合,在相应任务上提升计算效果。

参考文献[1] Han, J., Zhang, L., & Weinan, E. (2019). Solving many-electron Schrödinger equation using deep neural networks. Journal of Computational Physics, 399, 108929.[2] Pfau, D., Spencer, J. S., Matthews, A. G., & Foulkes, W. M. C. (2020). Ab initio solution of the many-electron Schrödinger equation with deep neural networks. Physical Review Research, 2 (3), 033429.[3] Hermann, J., Schätzle, Z., & Noé, F. (2020). Deep-neural-network solution of the electronic Schrödinger equation. Nature Chemistry, 12 (10), 891-897.[4]  Gerard, L., Scherbela, M., Marquetand, P., & Grohs, P. (2022). Gold-standard solutions to the Schrödinger equation using deep learning: How much physics do we need?. In Advances in Neural Information Processing Systems.[5] von Glehn, I., Spencer, J. S., & Pfau, D. (2023). A Self-Attention Ansatz for Ab-initio Quantum Chemistry. The Eleventh International Conference on Learning Representations.[6] Li, X., Li, Z., & Chen, J. (2022). Ab initio calculation of real solids via neural network ansatz. Nature Communications, 13 (1), 7895.[7] Li, X., Fan, C., Ren, W., & Chen, J. (2022). Fermionic neural network with effective core potential. Physical Review Research, 4 (1), 013021.

相关文章
|
3月前
|
并行计算 安全 网络协议
探索未来网络:量子互联网的原理与应用
本文深入探讨了量子互联网的基本概念、技术原理及其潜在应用。通过对量子纠缠、量子叠加和量子隐形传态等核心概念的解释,文章展示了量子互联网如何利用量子力学特性来实现超高速、超高安全性的通信。此外,还讨论了量子互联网在金融、医疗、国防等领域的应用前景,以及当前面临的技术挑战和未来的发展方向。
95 2
|
7天前
|
机器学习/深度学习 算法 PyTorch
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
本文探讨了图神经网络(GNN)与大型语言模型(LLM)结合在知识图谱问答中的应用。研究首先基于G-Retriever构建了探索性模型,然后深入分析了GNN-RAG架构,通过敏感性研究和架构改进,显著提升了模型的推理能力和答案质量。实验结果表明,改进后的模型在多个评估指标上取得了显著提升,特别是在精确率和召回率方面。最后,文章提出了反思机制和教师网络的概念,进一步增强了模型的推理能力。
29 4
基于图神经网络的大语言模型检索增强生成框架研究:面向知识图谱推理的优化与扩展
|
4月前
|
机器学习/深度学习 监控 定位技术
神经网络也有空间意识!学会在Minecraft创建地图,登上Nature子刊
【8月更文挑战第14天】国际团队利用预测编码神经网络,在Minecraft中实现了空间认知突破。他们在《自然》子刊发表的研究显示,神经网络能学习游戏内的空间关系并构建地图,不仅标记地形与物体,还能理解其间的相对位置。此成果揭示了神经网络在空间认知方面的潜力,引发了关于其真实空间意识及可能应用的讨论。论文链接:https://www.nature.com/articles/s42256-024-00863-1。
145 66
|
2月前
|
存储 安全 自动驾驶
探索未来网络:量子互联网的原理与应用
【10月更文挑战第2天】 本文旨在探讨量子互联网的基本原理、技术实现及其在通讯领域的革命性应用前景。量子互联网利用量子力学原理,如量子叠加和量子纠缠,来传输信息,有望大幅提升通信的安全性和速度。通过详细阐述量子密钥分发(QKD)、量子纠缠交换和量子中继等关键技术,本文揭示了量子互联网对未来信息社会的潜在影响。
|
2月前
|
存储 安全 网络安全
探索未来网络:量子互联网的崛起
【10月更文挑战第1天】本文旨在探讨量子互联网的基本概念、技术原理以及其对未来通信和网络安全的影响。通过对量子纠缠、量子密钥分发等核心技术的分析,揭示量子互联网如何实现超高安全性的通信,并讨论其在实际应用中的潜在挑战和发展前景。
46 3
|
2月前
|
人工智能 安全 网络协议
探索未来网络:量子互联网的原理与应用
本文深入探讨了量子互联网的基础原理、关键技术及其在未来通信领域的应用前景。通过分析量子纠缠、量子叠加等核心概念,揭示了量子互联网相较于传统互联网的优势所在。同时,文章还讨论了当前量子互联网领域面临的技术挑战和解决方案,为读者呈现了一个关于量子互联网的全面且深入的视角。
71 6
|
2月前
|
安全 网络安全 量子技术
探索未来网络安全的关键:量子加密技术
本文深入探讨了量子加密技术,一项被视为未来网络安全领域的重要突破。通过详细分析量子加密的工作原理、优势以及当前面临的挑战和潜在解决方案,文章为读者提供了对这一前沿技术的全面理解。我们将探讨如何将量子加密技术与现有网络安全架构融合,以及它在未来数字世界中的潜在应用。
123 2
|
2月前
|
安全 量子技术
探索未来网络:量子互联网的崛起
本文深入探讨了量子互联网的基本概念、技术原理及其对未来通信和信息安全的潜在影响。通过对量子纠缠、量子叠加以及量子不确定性等核心原理的解释,本文展示了量子互联网相较于传统互联网所具备的根本性优势,特别是在高安全性和高速度方面。
53 1
|
2月前
|
存储 安全 网络安全
探索未来网络:量子互联网的崛起
本文旨在探讨量子互联网这一新兴技术的概念、原理以及其对未来通信和网络安全的影响。通过介绍量子纠缠、量子叠加等核心概念,分析量子互联网相较于传统互联网的优势,如更高的安全性和传输效率。同时,讨论当前量子互联网的技术挑战及潜在解决方案,以期为相关领域的研究和实践提供参考。
47 1
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习还不如浅层网络?RL教父Sutton持续反向传播算法登Nature
【9月更文挑战第24天】近年来,深度学习在人工智能领域取得巨大成功,但在连续学习任务中面临“损失可塑性”问题,尤其在深度强化学习中更为突出。加拿大阿尔伯塔大学的研究人员提出了一种名为“持续反向传播”的算法,通过选择性地重新初始化网络中的低效用单元,保持模型的可塑性。该算法通过评估每个连接和权重的贡献效用来决定是否重新初始化隐藏单元,并引入成熟度阈值保护新单元。实验表明,该算法能显著提升连续学习任务的表现,尤其在深度强化学习领域效果明显。然而,算法也存在计算复杂性和成熟度阈值设置等问题。
80 2

热门文章

最新文章