在基础时序编码网络完成对正常工况的压缩表征后,尽管模型具备了提取稳态规律的能力,但在面对多种不同类型的微量气路故障时,潜在空间中的特征分布仍可能存在相互交叠的现象。论文《Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios》通过在编码器后端级联特征区分模块,构建了专门的加权对比投影层。该组件致力于通过引入度量对比学习机制,在特定的低维投影空间内重塑特征拓扑结构,系统性优化不同故障模式之间的几何可分性。

加权对比投影层在物理结构上由两层连续的全连接神经网络与非线性激活函数级联组成。预训练时序编码器输出的多航段时序隐层向量首先进入投影层的隐藏全连接层进行高阶非线性变换,通过输出全连接层映射至标准化的低维度量空间中。该投影空间以向量方向的余弦相似度作为衡量表征相关性的核心尺度,通过量化样本向量之间的夹角大小,直接反映不同飞行状态在特征空间内的几何接近程度,为后续的梯度调整提供明确的拓扑距离度量。
在样本组织层面,该组件直接利用真实的历史飞行监测数据构建正负样本对,避免了人工时序数据增强可能引入的物理伪特征。系统将属于同一种已知故障类型的多航段真实样本组合为正样本对,而将属于不同故障类别或健康状态的样本组合为负样本对。这种完全基于真实多航段监测记录的数据组织方式,确保了投影层在学习特征拉聚与分离的过程中,尽量遵循航空发动机真实的物理退化演化路径。
在投影空间的优化机制中,该组件采用了集成正负样本加权系数的温度缩放交叉熵度量损失函数。由于不同气路故障在参数变化上仍共享基本的热力学规律,且样本数量极度不均,导致负样本对在梯度计算中占据数量优势。为了尽量消除这一不平衡干扰,度量损失函数显式提升了同类故障正样本对的拉聚权重,同时自适应调节异类负样本对的排斥力度;在温度缩放参数的调控下,损失函数驱动同类故障样本在投影空间内高度紧凑收敛,同时扩大异类故障簇之间的间隔边界。

为了在优化特征可分性的同时防止底层基础时序规律遭到破坏,该模块在参数更新时实施了分层差异化的学习率控制。底层的长短期记忆编码器被分配了极低的学习率,以维持其在海量正常工况中学习到的通用时序滤波与压缩能力;后端的全连接投影层则采用常规学习率进行充分训练,使其集中调整映射权重以学习不同故障之间的细微差异。这种分层优化策略既在一定程度上保障了特征基底的数值稳定性,又较好地实现了对细分故障边界的有效解耦。
在加权对比投影层完成收敛后,非线性投影网络在结构上被剥离,而经过微调的时序编码器则被完整固化并输出。该编码器作为标准的特征提取前端,直接嵌入至下游的深度强化学习决策网络中。作为智能体内部负责表征优化的关键构件,特征可分性优化与加权对比投影层成功将高维重叠的时序状态转化为类内紧凑、类间清晰的低维特征向量,为执行准确的故障分类判定减轻了特征层面的模糊性。
参考文献:
Continual contrastive reinforcement learning: Towards stronger agent for environment-aware fault diagnosis of aero-engines through long-term optimization under highly imbalance scenarios[J]. Advanced Engineering Informatics, 2025, 65(C): 103297.
https://www.sciencedirect.com/science/article/pii/S1474034625001909