PINN训练新思路:把初始条件和边界约束嵌入网络架构,解决多目标优化难题

本文涉及的产品
实时计算 Flink 版,1000CU*H 3个月
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: PINNs训练难因多目标优化易失衡。通过设计硬约束网络架构,将初始与边界条件内嵌于模型输出,可自动满足约束,仅需优化方程残差,简化训练过程,提升稳定性与精度,适用于气候、生物医学等高要求仿真场景。

PINNs出了名的难训练。主要原因之一就是这个多目标优化问题。优化器很容易找到投机取巧的路径——比如拼命降低微分方程残差,但完全不管初始条件和边界约束。只要给初始条件和边界损失配的权重够低,它们增加的那点损失完全能被残差损失的大幅下降抵消掉。调整权重也许能暂时缓解这个问题,但谁也不能保证最优权重在整个训练过程中一直有效。

标准的PINN用复合损失函数,把三项加权求和:

  • 初始条件损失
  • 边界损失
  • 微分方程残差损失

要让解有用,必须让所有损失项同时降下来。用复合损失训练PINN的时候,优化器面对多个目标,有什么办法让优化器的工作简单点呢?

硬约束

要简化训练,最好能把复合损失换成单一项。所以如果能设计一种神经网络架构,让它自动满足初始和边界条件那么事情就会简单很多了。初始条件和边界条件直接"钉"在网络结构里,所以叫"硬约束"。相比之下,原始PINN把初始和边界条件放在损失函数里,那些约束是"软"的——不保证精确满足。

下面看看怎么把这些约束具体嵌入网络架构。

强制初始条件

初始条件一般是空间域上的一系列离散测量点。比如1D + t(一个空间维度加时间)的情况,初始条件就是沿x轴的一串值:(0 m, 100°C), (0.01 m, 105°C), (0.02 m, 106°C), … (0.3 m, 31°C),诸如此类。

假设能用函数u₀(x)在整个空间域上插值。对1D + t的例子,如果x在样本点上,u₀(x)返回观测值;否则返回平滑插值,x ∈ [0 m, 0.3 m]。三次样条很适合干这活。现在把初始条件的插值函数u₀(x)整合进PINN架构的输出:

方程(1)给出了一种强制u(x, 0) = u₀(x)的方式。β是常数或者可训练的时间衰减参数,决定了从初始状态到热扩散状态的过渡期长短。任意函数v(x, t)是神经网络的输出,不过还有点额外的处理。

强制边界条件

如果方程(1)里的函数v(x, t)在边界上取零值,再加上u₀(x)满足Dirichlet边界条件的假设,那么u(xᵇ, t) = u₀(xᵇ),这里xᵇ是边界上的点。

Ω(x)是个平滑函数,边界处输出零,空间域内部输出非零有限值。可以想象成平面上的肥皂泡。

文献[1]把Ω(x)叫做approximate distance function(近似距离函数),因为它的行为类似于输出到最近边界距离的函数。我觉得叫boundary bubble function(边界泡泡函数)更形象点。

对1D + t情况,Ω(x)可以取抛物线形式,在空间边界x_L和x_R处为零:

z(x, t)是任意函数的输出。这里用神经网络。

输出u(x, t)不是直接从可训练网络z(x, t)出来的,还能用梯度下降优化网络参数吗?

能。方程(3)里涉及的其他函数(u₀(x)、时间衰减函数、边界泡泡函数Ω(x))对x和t都可导。深度学习框架反向传播损失张量的时候会把它们的梯度算进去。所以初始条件插值、时间衰减、边界泡泡函数的具体形式其实不太关键,神经网络会自己适应。

用方程(3)作为PINN输出的过滤器,就可以开始求解偏微分方程(PDE)了。

实验

考虑一个薄金属棒,初始温度分布已知,来自一系列测量值。

初始条件,一系列温度测量点定义。图片由作者提供。

描述温度随时间演化的PDE是1D热扩散方程:

这个问题的解析解是知道的,所以能拿PINN的结果跟解析解对比。

PINN架构核心是个三层ResNet,每层宽度32。

初始条件用三次样条插值,边界泡泡函数用抛物线:

class HardConstrained1dResNet(torch.nn.Module):
    def __init__(self, number_of_blocks, block_width, number_of_outputs,
                 initial_profile, time_bubble_beta=2.0):
        super().__init__()
        self.bubble = Bubble()
        self.z_predictor = pinn1d.ResidualNet(
            number_of_inputs=2,
            number_of_blocks=number_of_blocks,
            block_width=block_width,
            number_of_outputs=number_of_outputs
        )
        self.initial_profile = initial_profile
        delta_x = 1.0/(len(self.initial_profile) - 1)
        xs = np.arange(0, 1 + delta_x/2, delta_x)
        xy_list = []
        for x_ndx in range(len(xs)):
            x = xs[x_ndx]
            xy_list.append((x, self.initial_profile[x_ndx]))
        self.initial_profile_interpolator = interpolation1d.CubicSpline(
            xy_list, boundary_condition='2nd_derivative_0'
        )

        self.time_bubble_beta = torch.nn.Parameter(torch.tensor([time_bubble_beta]))

    def forward(self, x_t):  # x_t.shape = (B, 2)
        x_tsr = x_t[:, 0].unsqueeze(1)  # (B, 1)
        t_tsr = x_t[:, 1].unsqueeze(1)  # (B, 1)
        bubble_t_tsr = self.time_bubble(t_tsr)  # (B, 1)
        bubble_x_tsr = self.bubble(x_tsr)  # (B, 1)
        z_tsr = self.z_predictor(x_t)  # (B, 1)
        initial_interpolation_tsr = self.initial_profile_interpolator.batch_evaluate(x_tsr)
        return initial_interpolation_tsr + bubble_t_tsr * bubble_x_tsr * z_tsr

    def time_bubble(self, t_tsr):  # t_tsr.shape = (B, 1)
        return 1 - torch.exp(-self.time_bubble_beta * t_tsr)  # (B, 1)

训练程序train.py里,损失函数只有一项——微分方程残差损失。初始条件和边界损失架构设计就保证了,不用放到损失函数里:

 (...)
  # Differential equation residual loss
  diff_eqn_residual_x_t_tsr.detach_()
  diff_eqn_residual_x_t_tsr.requires_grad = True
  du_dx__du_dt = first_derivative(neural_net, diff_eqn_residual_x_t_tsr)
  du_dt = du_dx__du_dt[:, 1]  # (N_res)

  d2u_dx2__d2u_dxdt = second_derivative(neural_net, diff_eqn_residual_x_t_tsr, 0)  # (N_res, 2)
  d2u_dx2 = d2u_dx2__d2u_dxdt[:, 0]  # (N_res)
  diff_eqn_residual = 1.0/duration * du_dt - alpha/length**2 * d2u_dx2  # (N_res)
  diff_eqn_residual_loss = criterion(diff_eqn_residual, torch.zeros_like(diff_eqn_residual))

  loss = diff_eqn_residual_loss
  is_champion = False
  (...)

下图是典型训练过程的损失变化:

动画1对比了10秒模拟期间的近似解和解析解:

PINN预测与解析解的比较。图片由作者提供。

符合预期,t=0时的预测就是初始条件的插值,x=0 m和x=0.3 m处的温度值精确等于设定的边界温度(Dirichlet边界条件)。

总结

多目标优化给PINN训练带来的困难是实实在在的。设计上做点简单修改,让网络输出在t=0时自动匹配初始条件插值,在边界上自动满足边界条件,就能把问题简化不少。

训练PINN解1D+t热扩散问题的结果还不错,从可视化能清楚看到PINN学会了满足PDE,同时被强制满足初始和边界条件。

这套方法对那些物理约束不能妥协的领域可能挺有价值——气候建模、生物医学仿真之类的场景。

本文的代码在这里:

https://avoid.overfit.cn/post/4b21ca89cc714512bff16ffd1af69538

参考:

[1] Exact imposition of boundary conditions with distance functions in physics-informed deep neural networks, N. Sukumar, Ankit Srivastava, https://arxiv.org/abs/2104.08426

作者:Sébastien Gilbert

目录
相关文章
|
4天前
|
存储 关系型数据库 分布式数据库
PostgreSQL 18 发布,快来 PolarDB 尝鲜!
PostgreSQL 18 发布,PolarDB for PostgreSQL 全面兼容。新版本支持异步I/O、UUIDv7、虚拟生成列、逻辑复制增强及OAuth认证,显著提升性能与安全。PolarDB-PG 18 支持存算分离架构,融合海量弹性存储与极致计算性能,搭配丰富插件生态,为企业提供高效、稳定、灵活的云数据库解决方案,助力企业数字化转型如虎添翼!
|
15天前
|
弹性计算 关系型数据库 微服务
基于 Docker 与 Kubernetes(K3s)的微服务:阿里云生产环境扩容实践
在微服务架构中,如何实现“稳定扩容”与“成本可控”是企业面临的核心挑战。本文结合 Python FastAPI 微服务实战,详解如何基于阿里云基础设施,利用 Docker 封装服务、K3s 实现容器编排,构建生产级微服务架构。内容涵盖容器构建、集群部署、自动扩缩容、可观测性等关键环节,适配阿里云资源特性与服务生态,助力企业打造低成本、高可靠、易扩展的微服务解决方案。
1310 5
|
2天前
|
监控 JavaScript Java
基于大模型技术的反欺诈知识问答系统
随着互联网与金融科技发展,网络欺诈频发,构建高效反欺诈平台成为迫切需求。本文基于Java、Vue.js、Spring Boot与MySQL技术,设计实现集欺诈识别、宣传教育、用户互动于一体的反欺诈系统,提升公众防范意识,助力企业合规与用户权益保护。
|
14天前
|
机器学习/深度学习 人工智能 前端开发
通义DeepResearch全面开源!同步分享可落地的高阶Agent构建方法论
通义研究团队开源发布通义 DeepResearch —— 首个在性能上可与 OpenAI DeepResearch 相媲美、并在多项权威基准测试中取得领先表现的全开源 Web Agent。
1351 87
|
2天前
|
JavaScript Java 大数据
基于JavaWeb的销售管理系统设计系统
本系统基于Java、MySQL、Spring Boot与Vue.js技术,构建高效、可扩展的销售管理平台,实现客户、订单、数据可视化等全流程自动化管理,提升企业运营效率与决策能力。
|
3天前
|
弹性计算 安全 数据安全/隐私保护
2025年阿里云域名备案流程(新手图文详细流程)
本文图文详解阿里云账号注册、服务器租赁、域名购买及备案全流程,涵盖企业实名认证、信息模板创建、域名备案提交与管局审核等关键步骤,助您快速完成网站上线前的准备工作。
190 82
2025年阿里云域名备案流程(新手图文详细流程)