第一次跑通 PPO:实战卡点全拆解
PPO实战难点不在算法理解,而在系统性不确定:需先明确对齐目标,以SFT模型为起点,严格使用reference model,设计偏好式reward,聚焦policy更新与KL系数调控,并通过行为变化而非loss曲线评估进展——本质是耐心跑通最小闭环。
微调是否会削弱 base model 的原始安全对齐
本文揭示微调对大模型安全对齐的隐性侵蚀:安全并非静态“外壳”或可锁定模块,而是与全部参数纠缠的行为偏好分布。微调(尤其SFT、LoRA、PPO)不删除安全能力,却系统性“重加权”其触发条件——稀释犹豫、压缩拒答、掩盖灰区风险。真正危险的,是变化未被察觉。安全需被主动守护,而非默认留存。
PPO / DPO 对安全边界的影响:压制还是迁移风险
本文揭示对齐训练(PPO/DPO)的深层误区:它不降低风险总量,而是迁移风险形态——压制显性违规,却强化灰区输出的稳定性与隐蔽性。风险未被消除,只是从“直白越界”变为“委婉越界”,更难检测、评估与拦截。安全不能只靠对齐,需模型、系统、策略三层协同。
向量维度、距离函数,如何影响召回结果
本文揭示向量检索效果不佳的根源常被误判:问题不在embedding模型本身,而在于被忽视的底层选择——向量维度与距离函数。二者共同定义了“相似性”的本质,而非仅调节精度。维度决定语义表达自由度与错误类型,距离函数(L2/Cosine/Dot)则确立“何为相近”的世界观。二者强耦合,直接塑造召回空间。调参前,先问:你更怕漏召,还是误召?