大型语言模型为何产生幻觉
语言模型为何会产生幻觉？OpenAI 最新研究指出，幻觉源于模型在训练和评估中被鼓励猜测而非承认“不知道”。即使强大如 GPT-5，也无法完全避免幻觉。改进评估方式、奖励模型表达不确定性，是减少幻觉的关键。
Proximal SFT：用PPO强化学习机制优化SFT，让大模型训练更稳定
本文介绍了一种改进的监督微调方法——Proximal Supervised Fine-Tuning (PSFT)，旨在解决传统SFT易过拟合、泛化能力差及导致“熵坍塌”的问题。受PPO强化学习算法启发，PSFT通过引入参数更新的稳定性机制，防止模型在训练中变得过于确定，从而提升探索能力与后续强化学习阶段的表现。实验表明，PSFT在数学推理、模型对齐及泛化能力方面均优于传统SFT。