拾忆km1_个人页

2026年10月

• 10.23 17:11:37
  发表了文章 2026-10-23 17:11:37

  Layer normalization 篇

  LayerNorm是稳定LLM训练的核心技术，含Layer Norm、轻量RMS Norm（去均值/平移）及Deep Norm（残差缩放+参数初始化优化）；位置上分Pre/Post/Sandwich-LN，影响收敛与稳定性；各模型依需求选用。