A Survey on Muon Optimizer Variants and Analysis |矩阵几何重塑优化:Muon 优化器变体与理论分析综述

简介: 深度学习优化长期由Adam及其变体主导,其逐元素自适应机制虽稳健但忽略了神经网络权重矩阵的内在结构。随着大语言模型(LLM)参数规模突破千亿级,训练效率与稳定性成为核心驱动力,促使研究界重新审视矩阵几何在优化中的作用。2024年Muon优化器的提出标志着关键转折点,它通过Newton-Schulz迭代对动量矩阵进行正交化,实现了谱范数下的最速下降,在LLM预训练中展现出比AdamW更高的计算效率。随后,2025年成为该领域的爆发期,研究重心从单纯的经验验证转向理论收敛性分析、非凸优化下的重尾噪声鲁棒性,以及分布式与联邦学习场景下的扩展。

综述原文见 www.arxivreview.com

导读

深度学习优化长期由 Adam 及其变体主导,其逐元素自适应机制虽稳健但忽略了神经网络权重矩阵的内在结构。随着大语言模型(LLM)参数规模突破千亿级,训练效率与稳定性成为核心驱动力,促使研究界重新审视矩阵几何在优化中的作用。2024 年 Muon 优化器的提出标志着关键转折点,它通过 Newton-Schulz 迭代对动量矩阵进行正交化,实现了谱范数下的最速下降,在 LLM 预训练中展现出比 AdamW 更高的计算效率。随后,2025 年成为该领域的爆发期,研究重心从单纯的经验验证转向理论收敛性分析、非凸优化下的重尾噪声鲁棒性,以及分布式与联邦学习场景下的扩展。当前,领域处于理论深化与工程落地的双重活跃阶段,不仅涌现出 NorMuon、Dion、Scion 等针对内存、通信或特定架构的变体,还深入探讨了 Muon 在关联记忆学习、泛化偏差及 μP 参数化下的谱条件。这一领域正从“替代 Adam 的候选者”演变为理解矩阵结构优化几何的核心范式,旨在解决大规模模型训练中梯度病态、维度灾难及计算开销高等共性难题。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

深度学习优化器的设计哲学正经历从欧几里得逐元素几何向非欧几里得矩阵几何的范式转移。传统优化器如 Adam 将权重矩阵视为高维向量,通过维护一阶和二阶矩估计实现逐元素自适应学习率,这种处理方式虽然计算高效且稳健,却完全忽略了权重矩阵作为线性算子的内在结构。当模型规模进入千亿参数时代,这种结构忽略导致了严重的梯度病态:少数主导奇异值方向垄断了优化过程,使得有效学习率在不同方向上极度不均,进而引发训练不稳定或收敛缓慢。Muon 优化器的出现正是对这一根本缺陷的修正,它不再将权重视为向量,而是利用矩阵几何特性,通过正交化操作消除奇异值差异,使更新方向在谱域内均匀化。

Muon 的核心机制在于对动量矩阵进行正交化,其数学本质是计算矩阵的极分解因子(Polar Factor),即保留方向信息而丢弃尺度信息。由于精确计算奇异值分解(SVD)在大规模矩阵上计算成本过高,Muon 采用 Newton-Schulz 迭代这一多项式近似算法来高效计算极分解因子。这一设计使得 Muon 在谱范数球约束下实现了最速下降,从根本上改变了优化轨迹的几何特性。从问题形式化角度看,给定损失函数 $L(\mathbf{W})$,Muon 的更新规则可表示为 $\mathbf{W}_{t+1} = \mathbf{W}_t - \eta \cdot \text{Orth}(\mathbf{M}_t)$,其中 $\mathbf{M}_t$ 为动量矩阵,$\text{Orth}(\cdot)$ 表示正交化操作,$\eta$ 为学习率。这一更新规则将优化问题从欧几里得空间转移到了具有特定范数结构的非欧几里得空间。

该领域的子问题之间存在强依赖关系,形成了清晰的逻辑链条。收敛性理论分析是基础,它决定了高效变体中近似误差的可接受边界;谱几何与机制解析解释了 Muon 加速的内在机理,为超参数迁移提供了理论依据;而分布式与联邦学习适配则依赖于高效变体降低的通信与计算开销。若不解决重尾噪声下的收敛性理论缺口,就无法保证变体在真实 LLM 训练场景中的稳定性;若不能从谱几何角度解释加速机制,超参数在不同模型规模间的迁移就缺乏理论指导。这种依赖关系使得领域研究呈现出理论、算法与系统三个维度协同演进的格局。

范式边界方面,Muon 及其变体主要适用于具有显著矩阵结构的参数,如 Transformer 中的隐藏层权重矩阵。对于嵌入层、输出层等向量参数,矩阵正交化的优势并不明显,甚至可能引入不必要的约束。因此,当前最佳实践是采用混合策略:矩阵参数使用 Muon,向量参数使用 AdamW。这一边界划分反映了矩阵几何优化与逐元素自适应优化之间的互补关系,也揭示了单一优化器难以覆盖所有参数类型的现实。

从约束演化史来看,2014 年 Adam 确立了逐元素自适应的标准,但其忽略矩阵结构的缺陷在大规模训练中逐渐暴露。2015 年 Spectral Descent 提出了基于谱范数的最速下降方法,为后续矩阵优化器奠定了几何理论基础,但受限于计算效率未能广泛应用。2018 年 Shampoo 利用 Kronecker 分解近似 Fisher 信息矩阵进行矩阵级预条件,开创了矩阵感知优化器先河,但其计算开销仍然较高。2024 年 Muon 的提出标志着关键转折,它通过 Newton-Schulz 迭代实现了高效正交化,在 LLM 预训练中展现出显著的计算效率优势,引发了社区广泛关注。

2025 年成为该领域的爆发期,研究重心从经验验证转向理论深化。收敛性理论方面,LiMuon 结合动量方差缩减与随机 SVD,降低了样本复杂度;重尾噪声鲁棒性方面,Heavy-Tailed Muon 证明了 Muon 能够自动适应最优 Schatten-r 几何结构。高效变体方面,NorMuon 引入块级自适应学习率,Dion2 通过随机采样降低计算开销。分布式适配方面,FedMuon 针对联邦学习场景设计偏差校正机制,EF21-Muon 引入误差反馈解决通信瓶颈。2026 年,研究进一步转向系统落地与统一框架,DMuon 实现了硬件感知的分布式部署,Spectral Condition µP 建立了超参数跨规模迁移的理论联系。

当前,领域处于理论深化与工程落地的双重活跃阶段。理论层面,非凸收敛性证明、重尾噪声鲁棒性、非光滑场景适用性等问题正在被逐步填补;算法层面,低秩近似、块周期正交化、稀疏采样等技术不断涌现;系统层面,分布式通信优化、硬件感知负载平衡等工程难题得到解决。这一演进过程反映了算力约束与理论成熟度的共同驱动,也体现了从“替代 Adam 的候选者”到“理解矩阵结构优化几何的核心范式”的认知转变。

如果用一个核心问题概括该领域,那便是:如何在保持矩阵权重结构几何优势(谱均匀化)的前提下,克服正交化操作带来的计算/通信开销与非凸收敛理论缺口,实现大规模模型训练的高效、稳定与可迁移。

2. 方法体系

  • 2014:Adam——通过维护一阶和二阶矩估计实现逐元素自适应学习率,成为深度学习训练的事实标准基线

  • 2015:Spectral Descent——提出基于谱范数的最速下降方法,为后续矩阵优化器奠定了几何理论基础

  • 2018:Shampoo——利用Kronecker分解近似Fisher信息矩阵进行矩阵级预条件,开创了矩阵感知优化器先河

  • 2024:Muon——引入Newton-Schulz迭代对动量矩阵进行正交化,实现谱范数下的最速下降,显著提升LLM训练效率

  • 2025:LiMuon——结合动量方差缩减与随机SVD,降低样本复杂度至O(ε^-3),解决了原始Muon在高维非凸问题中的理论瓶颈

  • 2025:NorMuon——引入块级自适应学习率与行均值方差估计,在保持正交化优势的同时降低更新方向方差,提升大规模训练稳定性

  • 2026:Dion2——通过随机行/列采样缩小正交化矩阵规模,将计算复杂度从超线性降低,显著改善分布式训练的可扩展性

  • 2026:Spectral Condition µP——推导宽度-深度缩放下的谱条件,为GQA等复杂架构提供统一的超参数迁移理论框架

这条时间线勾勒了该领域方法演进的代表性节点:从 2014 年的 Adam 奠定该领域方法基线,经 2015 年 Spectral Descent 的推进,到 2026 年的 Spectral Condition µP 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 收敛性理论分析

收敛性理论分析旨在解决 Muon 在非凸、重尾噪声及非光滑场景下的收敛速率与样本复杂度问题,揭示其理论边界与优势。早期 Muon 缺乏严格的非凸收敛证明,主要因正交化操作的非线性及非凸性难以套用传统光滑假设。Chang et al. (2025, P2) 建立了基于动量方差缩减与正交投影的收敛性理论框架,将 Muon 更新视为在正交矩阵集合上的投影,利用 SVD 分解将动量矩阵映射为半正交矩阵,从而消除主成分方向的支配效应。该工作证明了在标准光滑性假设下,Muon 能够以 $O(1/\sqrt{T})$ 的速率找到 $\epsilon$-驻点,填补了此前缺乏严格收敛证明的理论空白。其代价是分析依赖于矩阵维度的特定结构,且假设梯度噪声满足有界二阶矩条件。

针对原始 Muon 在高维大模型训练中样本复杂度高的问题,Huang et al. (2025, P1) 提出了 LiMuon 优化器,结合动量方差缩减技术与随机奇异值分解,通过近似计算正交因子来降低计算开销。LiMuon 证明了在非凸光滑条件下,找到 $\epsilon$-驻点的样本复杂度为 $O(\epsilon^{-3})$,优于现有变体。其代价是随机 SVD 的近似误差可能影响正交化的精度,且需要额外的内存存储随机投影矩阵。该工作在保持 Muon 核心优势的同时提升了计算效率,为大规模模型训练提供了更具可行性的理论保障。

Hübler et al. (2026, P24) 研究了 Muon 在重尾噪声环境下的收敛行为,提出 Muon 能够自动适应最优 Schatten-r 几何结构的理论观点。该方法利用范数等价性,将核范数约束转化为 Schatten-p 范数(p 为尾指数),从而在噪声更重尾的情况下显著降低维度依赖。核心创新在于证明了无需修改算法本身,Muon 即可在保持强于 Frobenius 范数的平稳性度量下实现收敛,揭示了其经验成功背后的鲁棒性机制。其代价是分析过程涉及复杂的 Banach 空间对偶理论,且假设噪声分布具有特定的 p-方差有界性。

Parshakova et al. (2026, P21) 通过构造凸 Lipschitz 函数反例,揭示了 Muon 在特定条件下的非收敛性,挑战了此前关于其普遍收敛性的假设。该工作详细分析了谱下降方向在凸但非光滑或特定 Lipschitz 条件下的行为,指出当函数缺乏足够的光滑性或曲率结构时,正交化更新可能导致振荡或停滞。核心创新在于明确了 Muon 收敛所需的几何前提,即函数需满足特定的光滑性或强凸性条件。其代价是结论主要局限于理论构造的反例,实际深度学习损失函数通常具有更复杂的非凸结构,因此该反例不直接否定 Muon 在深度学习中的有效性。

Li and Tsuchiya (2026, P29) 分析了有限步 Newton-Schulz 迭代在非光滑非凸优化中的平滑效应,证明近似正交化能够隐式地正则化优化路径。该方法将 Newton-Schulz 多项式视为对矩阵函数的截断泰勒展开,研究其对奇异值谱的压缩作用如何影响非光滑损失函数的梯度流。核心创新在于揭示了有限步迭代并非简单的近似误差,而是引入了一种有益的平滑机制,有助于逃离尖锐极小值并改善收敛稳定性。其代价是分析依赖于特定的多项式系数选择,且平滑效应在高维空间中可能减弱。该工作从数值分析角度解释了 Muon 近似实现的理论合理性,为选择最优迭代步数提供了理论依据。

收敛性理论分析与谱几何解析路线存在紧密的互补关系:前者提供了算法正确性的数学保证,后者则解释了为何这些保证在特定几何条件下成立。理论边界的确立(如非收敛反例)直接指导了高效变体中近似误差的控制策略,而重尾噪声鲁棒性的证明则为 Muon 在真实 LLM 训练场景中的应用提供了信心。

2.2 谱几何与机制解析

谱几何与机制解析路线从谱范数、曲率及隐式偏置角度解析 Muon 加速机制,探讨其与 Adam 等优化器的几何差异及适用条件。Su (2025, P12) 引入了各向同性曲率模型,通过假设损失函数在所有扰动方向上具有各向同性的二阶及高阶曲率,构建凸优化程序以分析单步更新。该方法利用矩阵结构推导权重更新与总损失变化之间的关系,证明在一般曲率增长条件下,最优更新矩阵由原始梯度矩阵的谱决定。核心创新在于将复杂的非凸优化问题简化为可分析的凸规划,从而从二阶几何角度解释了梯度正交化的最优性。其代价是各向同性假设在真实深度网络中可能不成立,尤其是当网络存在强烈的各向异性特征时。

Shen et al. (2026, P25) 从河床-山谷几何视角解析 Muon 在训练动力学中的行为,解释其为何在特定阶段优于欧几里得优化器。该方法将损失景观分解为平坦的“河床”方向(主要学习方向)和陡峭的“山谷”方向(振荡方向),指出 Muon 的正交化更新能够有效抑制山谷方向的振荡,同时保持河床方向的稳定进展。核心创新在于将优化轨迹与景观几何特征显式关联,揭示了 Muon 在 warmup-stable-decay 学习率调度下的独特优势。其代价是分析依赖于混合尖峰模型(Mixed-Spiked Model)的假设,实际 LLM 训练的景观可能更为复杂。

Li et al. (2026, P23) 通过谱滤波视角分析 Muon 中动量的作用,证明动量在正交化前能够打开奇异值间隙,从而提升信号子空间的可靠性。该方法将梯度建模为结构化信号加扰动,分析动量窗口大小如何影响前 r 个奇异子空间与真实信号的对齐程度。核心创新在于区分了“先动量后正交化”(Pre-polar)与“先正交化后动量”(Post-polar)两种流水线,证明前者在高信噪比下具有定量优势,因为动量平滑了噪声,使正交化操作基于更可靠的矩阵。其代价是分析假设信号具有持久性,且扰动分布为绝对连续。

Wu et al. (2026, P28) 提出了谱分配理论,解释 Muon 为何优于 Adam,并基于此提出改进策略。该方法通过探针技术测量训练过程中动量缓冲区的谱分布,分析不同奇异值方向对损失减少的贡献,发现 Muon 通过均匀化谱分配避免了主导模式对训练的垄断。核心创新在于将优化器的性能归因于其对谱能量的分配策略,而非简单的范数几何,并据此设计了调整谱权重的改进算法。其代价是探针测量需要额外的计算开销,且分析主要基于离线检查点,难以实时指导训练。

Crawshaw et al. (2025, P7) 构建了非欧几里得梯度下降的统一框架,将 Muon 及其变体解释为不同范数下的最速下降,并引入 Momo 自适应步长机制。该方法通过定义乘积范数,将矩阵参数与向量参数的优化统一在一个框架内,提出 MuonMax 变体以解决原始 Muon 在混合参数类型中的步长不匹配问题。核心创新在于利用陈旧的核范数近似来调整步长,使得 MuonMax 在保持低内存开销的同时,显著拓宽了竞争性学习率的选择范围。其代价是引入了额外的核范数估计计算,且近似误差可能影响步长调整的准确性。

谱几何解析与收敛性理论分析形成了理论闭环:几何解释提供了直觉理解,收敛性证明提供了数学保证。同时,谱几何分析直接指导了超参数迁移策略的设计,因为谱条件的稳定性是跨规模迁移的基础。此外,谱分配理论揭示了 Muon 优势的新维度,即谱能量管理,推动了从“范数几何”到“谱分配”的研究范式转变。

2.3 高效变体与加速

高效变体与加速路线旨在提出降低计算或通信开销的 Muon 变体,如低秩近似、分块正交化及分布式实现,以提升大规模训练效率。原始 Muon 的精确正交化(SVD)或多次 Newton-Schulz 迭代在大规模矩阵上计算成本高,导致训练延迟,且矩阵级更新破坏了 ZeRO/FSDP 等并行策略的逐元素通信契约。

Ahn et al. (2025, P16) 提出了 Dion2 优化器,通过随机采样行或列来缩小正交化矩阵规模,旨在降低 Muon 在大规模模型中的计算和通信开销。该方法在每次迭代中仅对矩阵的一部分进行正交化,生成稀疏更新,从而显著减少 Newton-Schulz 迭代的计算量。核心改进在于无需复杂的低秩近似或分布式协调,仅通过简单的采样策略即可实现可扩展性提升,且保持了 Muon 的核心优化特性。其代价是稀疏更新可能引入额外的方差,且采样比例需要仔细调优以平衡效率与精度。

Li et al. (2025, P6) 提出了 NorMuon 优化器,结合 Muon 的正交化与块级自适应学习率,通过追踪每个神经元更新方向的平方均值来降低更新方向的方差。该方法维护一个额外的二阶动量向量,用于归一化正交化后的更新,从而解决原始 Muon 中更新范数波动大的问题。核心改进在于以极低的内存开销(仅存储 m 个标量)实现了类似 Adam 的自适应步长,同时保留了矩阵正交化的几何优势。其代价是引入了额外的归一化计算,且自适应步长可能干扰正交化带来的谱均匀化效果。

Du and Su (2026, P20) 提出了 Newton-Muon 优化器,结合二阶曲率信息的 Muon 变体,通过 Kronecker 分解近似 Hessian 矩阵来调整正交化更新的步长。该方法在标准 Muon 更新基础上,引入基于局部曲率的缩放因子,以更好地适应损失函数的局部几何结构。核心创新在于将二阶信息以低秩形式融入一阶优化器,避免了完整 Hessian 计算的昂贵开销,同时提升了收敛速度。其代价是 Kronecker 分解的近似误差可能影响曲率估计的准确性,且需要额外的内存存储分解因子。

Khaled et al. (2025, P9) 提出了 MuonBP 优化器,基于块周期正交化的 Muon 加速方法,通过减少正交化操作的频率来降低计算开销。该方法观察到正交化并非每步都需要,因此设计了一种周期性执行正交化的策略,并在非正交化步骤使用近似更新。核心改进在于利用正交化更新的平滑性,允许在多个步骤内复用正交化结果,从而显著减少 Newton-Schulz 迭代的调用次数。其代价是近似更新可能累积误差,且周期长度需要平衡计算效率与收敛精度。

Gruntkowska et al. (2025, P4) 提出了 EF21-Muon,引入误差反馈机制到 Muon 及其 LMO 变体中,以解决分布式训练中的通信瓶颈。该方法在客户端与服务器之间压缩梯度更新,并利用误差反馈累积未传输的残差,确保长期收敛性。核心创新在于证明了在非欧几里得光滑性和 $(L_0, L_1)$-光滑性下,EF21-Muon 能够达到与无压缩基线相同的收敛速率,同时大幅减少通信量。其代价是引入了额外的误差状态存储,且压缩策略的选择对收敛速度有影响。

高效变体与谱几何解析路线存在直接的技术依赖:谱几何分析揭示了正交化的核心作用,而高效变体则通过近似策略在保持核心作用的同时降低开销。同时,高效变体为分布式适配提供了基础,因为降低计算和通信开销是解决分布式通信瓶颈的前提。

2.4 应用扩展与场景

应用扩展与场景路线探索 Muon 在联邦学习、零阶优化、推荐系统及科学机器学习等特定场景下的适配性与性能表现。不同场景具有特殊的约束条件,如联邦学习中的数据异构性、零阶优化中的无梯度访问、分布式训练中的通信限制等,需要针对性的适配策略。

Takezawa et al. (2025, P3) 提出了 FedMuon,针对联邦学习场景设计基于 LMO 的优化器,通过偏差校正机制解决客户端数据异构性导致的收敛偏差。该方法在联邦平均框架下,利用线性最小化 Oracle 处理非凸损失,并引入偏差校正项以补偿客户端本地更新的不一致性。核心创新在于将 Muon 的几何优势适配到分布式隐私保护场景,证明了其在非独立同分布数据下的鲁棒性。其代价是偏差校正增加了通信开销,且需要客户端具备较强的计算能力以执行 LMO 操作。

Chen et al. (2026, P26) 提出了 DMuon,设计高效的分布式 Muon 训练系统,通过硬件感知的负载平衡与通信计算重叠,将优化器开销降至接近 AdamW 水平。该方法针对 Muon 更新成本随矩阵形状变化的特点,采用基于实测执行时间的 Owner 分配策略,并优化 All-gather 通信与计算的重叠。核心创新在于解决了 Muon 在 ZeRO/FSDP 框架中的系统集成难题,消除了因矩阵形状异构导致的 Straggler 效应。其代价是系统实现复杂度较高,且需要精细的硬件性能建模。

Li et al. (2026, P27) 研究了 Muon 在扩散 Transformer(DiT)训练中的可扩展性,提出周期性行范数更新策略以平衡计算与通信。该方法针对 DiT 架构中矩阵形状多样性的特点,设计了分片行范数计算与桶化 All-gather 通信,优化了分布式训练的性能。核心创新在于揭示了 Muon 在生成模型训练中的独特优势,并通过系统级消融实验确定了最优的更新频率与通信策略。其代价是周期性更新可能引入轻微的收敛延迟,且需要针对 DiT 架构进行特定的系统调优。

Lang et al. (2026, P18) 提出了子空间梯度正交化方法,将 Muon 的正交化思想应用于零阶优化(ZO),通过子空间梯度估计提升无梯度训练的准确性与效率。该方法在 ZO 框架下,利用函数值差分估计梯度,并对估计出的梯度进行子空间正交化,以抑制噪声并增强信号。核心创新在于首次将矩阵正交化引入 ZO 优化,证明了其在 LLM 微调任务中优于传统 ZO 方法。其代价是子空间选择需要额外的函数评估,且正交化操作增加了每步的计算复杂度。

Page et al. (2025, P13) 提出了 MuonAll,一种针对大语言模型微调的 Muon 变体,通过优化非矩阵参数的处理策略提升微调效率。该方法在保留 Muon 对隐藏层矩阵参数正交化优势的同时,针对嵌入层和输出层等向量参数采用自适应学习率策略,解决混合参数类型下的优化不匹配问题。核心创新在于设计了统一的微调流程,使得 Muon 能够端到端地应用于 LLM 微调任务,无需复杂的参数分离。其代价是向量参数的自适应策略可能增加内存占用,且超参数调优空间较大。

应用扩展与高效变体路线存在紧密的协同关系:高效变体降低了计算和通信开销,使得 Muon 能够在资源受限或通信受限的场景中部署;而应用扩展则验证了 Muon 在不同场景下的适用性,并反馈了新的约束条件,驱动高效变体的进一步改进。

2.5 超参数与缩放律

超参数与缩放律路线研究 Muon 在模型宽度、深度及数据规模变化下的超参数迁移策略,建立谱条件与缩放律的理论联系。Muon 对学习率范围敏感,且不同模型规模下最优超参数难以直接迁移,需结合 μP 或自适应步长机制来增强鲁棒性。

Zhao (2026, P17) 建立了 Muon 与最大更新参数化(µP)的理论联系,推导确保训练全程谱条件稳定的超参数迁移规则。该方法分析模型宽度变化对权重谱范数的影响,提出基于谱条件的学习率缩放公式,实现从小模型到大模型的零样本超参数迁移。核心创新在于将 µP 的激活不变性原则扩展到优化器更新层面,证明了 Muon 在满足特定谱条件时能够保持特征学习动态。其代价是分析依赖于随机矩阵理论假设,且对于非标准架构可能需要额外的修正。

Zheng et al. (2026, P19) 推导了宽度-深度缩放下的谱条件,为 GQA 等复杂注意力架构提供统一的超参数迁移理论。该方法将 µP 的谱条件推广到深度维度,分析残差流中信号传播的稳定性,提出基于 RMS 算子范数的缩放规则。核心创新在于解决了原始 µP 在深度缩放上的局限性,为深层 Transformer 的训练提供了稳定的超参数配置。其代价是深度缩放的分析更为复杂,且需要假设层间权重分布的独立性。

Qiu et al. (2025, P14) 研究了矩阵预条件优化器(包括 Muon)在模型规模变化下的超参数迁移一致性,证明其增益在不同规模下具有可预测性。该方法通过大规模实验验证了 Muon 相对于 AdamW 的速度优势在从小模型到大模型的缩放过程中保持不变,并提出了基于计算最优性的超参数选择策略。核心创新在于量化了矩阵预条件带来的效率增益,并证明了这种增益不随模型规模增加而衰减。其代价是实验成本高昂,且结论主要基于特定架构和数据集。

Kosson et al. (2025, P10) 分析了权重衰减在 µP 框架下对学习率迁移的影响,指出权重衰减可能比 µP 本身对实际学习率迁移更为重要。该方法通过隔离权重衰减与 µP 的效应,发现合理的权重衰减设置能够补偿 µP 假设中的偏差,从而提升超参数迁移的准确性。核心创新在于揭示了正则化项在超参数迁移中的关键作用,挑战了仅关注学习率缩放的常规做法。其代价是增加了超参数调优的维度,且权重衰减的最优值依赖于模型架构。

超参数与缩放律路线与谱几何解析路线存在直接的理论联系:谱条件的稳定性是超参数迁移的基础,而谱几何分析提供了理解谱条件变化的工具。同时,超参数迁移策略的实证验证(如 Qiu et al. 的工作)为理论预测提供了支持,也揭示了理论假设与实际训练之间的差距。

3. 关键共识、分歧与开放问题

3.1 领域共识

Muon 通过矩阵正交化实现了谱范数下的最速下降,这一几何解释被广泛接受为理解其优于 Adam 的根本原因。在 OpenWebText 基准上,MuonBP 的 3.36 验证损失与 NorMuon 的 3.65 验证损失均大幅超越 AdamW 的 3.832,验证了谱均匀化机制在 LLM 预训练中的有效性(支撑证据:P2、P6、P9)。这一共识在多个基准上被反复验证:WikiText-103 上 Muon 的 0.0375 损失优于 AdamW 的 0.0686,FashionMNIST 上 FedMuon 的 0.48 测试准确率优于 SCAFFOLD 的 0.42,SuperGLUE 上 ZO-Muon 的 0.82 平均准确率优于 Adam 的 0.78。

与此相关的另一个共识是,在大规模 LLM 预训练中,Muon 相比 AdamW 具有显著的计算效率优势,通常能实现约 2 倍的训练加速或更低的验证损失。Qiu et al. (2025, P14) 通过大规模实验验证了 Muon 相对于 AdamW 的速度优势在从小模型到大模型的缩放过程中保持不变,并证明了这种增益不随模型规模增加而衰减。这一共识为工业界采用 Muon 提供了实证支持,增强了社区对矩阵优化器长期价值的信心。

然而,这一共识存在边界与反例。Parshakova et al. (2026, P21) 通过构造凸 Lipschitz 函数反例,揭示了 Muon 在特定条件下的非收敛性,挑战了此前关于其普遍收敛性的假设。该反例表明,当函数缺乏足够的光滑性或曲率结构时,正交化更新可能导致振荡或停滞。虽然实际 LLM 训练未观察到失败,但这一理论边界警示促使研究者更谨慎地应用其收敛保证,并推动了针对非光滑或非凸场景的改进算法设计。

3.2 观点分歧

正交化的理论必要性与经验有效性之间存在深层分歧。一方面,Isotropic Curvature Model(Su, 2025, P12)和 Spectral Allocation Analysis(Wu et al., 2026, P28)认为正交化是解决梯度病态的必要几何操作,具有严格的谱范数最速下降解释。Su 的各向同性曲率模型从二阶几何角度证明了梯度正交化的最优性,Wu 的谱分配理论则揭示了 Muon 通过均匀化谱分配避免了主导模式对训练的垄断。另一方面,Muon Non-Convergence Analysis(Parshakova et al., 2026, P21)和 Finite Newton-Schulz Smoothing(Li and Tsuchiya, 2026, P29)认为正交化并非总是最优,在非光滑或特定 Lipschitz 条件下可能导致非收敛,其优势可能源于隐式正则化而非几何最优性。Li and Tsuchiya 的工作揭示了有限步 Newton-Schulz 迭代引入的平滑机制,有助于逃离尖锐极小值,暗示 Muon 的成功可能部分归功于这种隐式正则化。

现有证据偏向观点 A 在 LLM 预训练中的有效性,但观点 B 提供了重要的理论边界警示。实验上,在合成非光滑函数上 Muon 表现不佳,但在真实 LLM 上表现优异,暗示真实损失函数的曲率结构符合正交化假设。这一分歧的背后,是另一个更根本的争论:精确正交化与近似正交化的取舍。观点 A 认为精确正交化(或高步数 NS 迭代)是保证谱均匀化的关键,近似会引入偏差;观点 B 认为低秩近似或随机采样(如 Dion2, LiMuon)在大规模下更高效,且误差可控,甚至能降低维度依赖。在 OpenWebText 等大规模基准上,近似方法(Dion2, LiMuon)在保持精度的同时显著降低了计算开销,证据偏向观点 B 在工程上的优越性。但在小模型或高信噪比场景下,精确方法可能更稳。这一分歧尚未解决,因为近似误差对长期泛化性能的影响尚不明确,现有实验多关注收敛速度,缺乏对最终模型泛化能力的长期跟踪。

3.3 其他开放问题

当前最紧迫的工程问题是分布式训练中的通信优化。Muon 等矩阵优化器在分布式环境中通信开销大,限制其扩展性。难点在于如何在不牺牲收敛性的前提下减少梯度或动量矩阵的通信量。DMuon(Chen et al., 2026, P26)通过硬件感知的负载平衡与通信计算重叠,将优化器开销降至接近 AdamW 水平,EF21-Muon(Gruntkowska et al., 2025, P4)通过误差反馈机制大幅减少通信量,但这些方案仍依赖特定的系统假设和硬件配置。潜在路径包括开发低秩近似、稀疏化或量化技术,以及更高效的通信-计算重叠策略。

最根本的研究问题是优化器对泛化性能的影响。Muon 等优化器在收敛速度上的优势是否转化为更好的泛化能力尚不明确。难点在于泛化性能受数据分布、模型容量等多因素影响,难以隔离优化器的作用。现有研究多关注收敛速度和验证损失,缺乏对最终模型泛化能力的长期跟踪。潜在路径包括在受控实验(如不平衡数据、合成任务)中研究优化器的归纳偏置,以及发展能够同时捕捉真实 LLM 损失函数复杂曲率和非光滑特性的统一理论模型。

此外,非光滑与非凸优化的理论分析仍是开放问题。现有理论多假设光滑性,难以解释实际训练中的非光滑现象(如 ReLU、稀疏化)。难点在于非光滑设置下谱分解和极分解的性质复杂。Li and Tsuchiya (2026, P29) 的工作揭示了有限步 Newton-Schulz 迭代的平滑效应,但这一机制在高维空间中的行为尚不清楚。潜在路径包括发展非光滑矩阵优化理论或采用正则化技术平滑目标函数。

归纳当前领域的认知图谱:已知 Muon 的谱几何优势在 LLM 预训练中有效,且计算效率优势可跨规模迁移;争议在于正交化的理论必要性、精确与近似正交化的取舍、以及矩阵优化器与混合优化器的选择;未知包括优化器对泛化性能的长期影响、非光滑场景下的收敛行为、以及极端架构(如 MoE、SSM)下的适用性。发展趋势将从“替代 Adam”转向“理解矩阵优化几何”,核心问题是如何在重尾噪声和非光滑场景下,通过理论指导设计更鲁棒、可扩展的矩阵优化器。

4. 总结与展望

Muon 优化器的兴起源于大规模深度学习模型训练中传统逐元素自适应优化器忽略权重矩阵内在结构导致的梯度病态、维度灾难及计算效率低下问题。从 2024 年 Muon 的提出到 2026 年分布式系统落地,领域经历了从经验验证到几何解释、从理论证明到系统落地的完整演进。核心瓶颈在于正交化操作带来的计算/通信开销与非凸收敛理论缺口之间的张力:理论路线提供了算法正确性的保证,但假设条件复杂;高效路线降低了计算开销,但引入了近似误差;应用路线解决了特定场景的约束,但增加了系统复杂度。这一矛盾尚未完全解决,制约了 Muon 在更广泛场景中的应用。

未来可能突破的方向包括:优化器与架构的联合设计,现有优化器多针对特定架构(如 Transformer)设计,缺乏通用性,探索架构感知的自适应优化策略或可微架构搜索可能解决这一问题(支撑证据:P26、P27);分布式训练中的通信优化,开发低秩近似、稀疏化或量化技术,以及更高效的通信-计算重叠策略,以在不牺牲收敛性的前提下减少通信量(支撑证据:P4、P16);超参数迁移与缩放定律,开发基于谱条件的统一缩放规则或自动超参数搜索方法,解决不同模型规模下优化器超参数难以直接迁移的问题(支撑证据:P17、P19)。对于进入该领域的研究者,最值得做的一件事是在统一骨干与统一预训练条件下,系统评测代表性 Muon 变体在计算效率维度(Wall-clock Time、FLOPs、Memory Footprint、Communication Overhead)上的表现,填补当前评测体系的开放缺口,为工业界部署提供可靠的效率基准。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9348 25
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2724 14
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1306 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
11天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
11天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11348 59
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1362 1
|
4天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
953 0
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。