A Survey on Robust and Efficient Fine-Tuning of Foundation Models |基础模型鲁棒高效微调综述

简介: 基础模型微调的核心矛盾在于通用表征保留与任务特定适配之间的张力,全参数微调虽性能上限高却伴随灾难性遗忘与高昂算力成本。参数高效微调(Parameter-EfficientFine-Tuning,PEFT)通过冻结主干并仅更新低秩增量,以牺牲部分表达空间换取计算效率与鲁棒性,成为当前主流范式。随着研究深入,领域焦点从单纯的效率提升转向鲁棒性控制,即如何在分布偏移与持续学习场景下严格保持预训练能力。任务向量(TaskVector)概念的兴起进一步将微调知识解耦为可迁移的线性表示,推动了跨模型知识复用。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。

综述原文见 www.arxivreview.com

导读

基础模型微调的核心矛盾在于通用表征保留与任务特定适配之间的张力,全参数微调虽性能上限高却伴随灾难性遗忘与高昂算力成本。参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)通过冻结主干并仅更新低秩增量,以牺牲部分表达空间换取计算效率与鲁棒性,成为当前主流范式。随着研究深入,领域焦点从单纯的效率提升转向鲁棒性控制,即如何在分布偏移与持续学习场景下严格保持预训练能力。任务向量(Task Vector)概念的兴起进一步将微调知识解耦为可迁移的线性表示,推动了跨模型知识复用。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何度量到语义先验的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

基础模型(Foundation Models)的兴起源于大规模预训练在自然语言处理和计算机视觉领域的突破,其核心驱动力在于通过海量数据获取通用表征,从而降低下游任务的数据需求。然而,预训练模型在特定任务上的表现往往受限,且直接全参数微调面临计算成本高、灾难性遗忘及鲁棒性不足等挑战。这一矛盾构成了领域研究的起点:如何在保持预训练通用能力的前提下,以最小代价实现下游任务的高性能适配。

问题形式化通常遵循 N-way K-shot 范式,即给定 $N$ 个类别,每类 $K$ 个支持样本,模型需在这些极少样本上快速适应并泛化至查询集。在此设定下,核心子问题呈现层级依赖关系:参数高效微调是基础层,解决算力与遗忘的初步矛盾;鲁棒性与抗遗忘是核心层,依赖于高效微调框架但引入更严格的性能保持约束;任务向量迁移与蒸馏部署是应用层,依赖于前两层对参数空间几何结构的理解。若不解决鲁棒性,跨模型迁移将因源模型本身不稳定而失效。

2016-2018 年间,研究聚焦于度量学习与原型网络,通过构造嵌入空间把分类问题转化为相似度比较,思路简洁却受制于表示质量。2020 年跨域基准的引入暴露出域偏移下的原型崩溃问题,促使研究者转向预训练与视觉语言模型,用更强的先验换取跨域鲁棒性。2021 年 CLIP 确立了零样本与少样本迁移的新范式,成为视觉基础模型适配的核心基线。

2022 年 LoRA 的出现成为关键里程碑,通过低秩分解冻结主干权重并仅训练低秩增量矩阵,大幅减少可训练参数并提升收敛速度,成为基础模型高效微调的事实标准。2023 年 Task Arithmetic 将微调后的参数差异定义为任务向量,通过线性操作实现任务组合与复用,开启了参数空间知识继承的新方向。2024 年 MiLoRA 利用 SVD 分解预训练权重,基于次要奇异分量初始化 LoRA 适配器,旨在减少与预训练行为的干扰,提升了微调的鲁棒性。

2025-2026 年间,研究重心逐渐从单纯的效率提升转向“鲁棒性”与“适应性”的平衡,包括对抗鲁棒性、分布偏移下的泛化能力以及持续学习中的知识保留。当前,该领域处于高度活跃阶段,研究热点集中在如何在不牺牲基础模型通用能力的前提下,实现针对特定领域(如医疗、遥感、机器人)的高效、鲁棒适配,并探索跨模型、跨架构的知识迁移与初始化策略。

如果用一个核心问题概括该领域,那便是:如何在基础模型参数空间的低维流形上,通过最小化对预训练分布的扰动(鲁棒性约束),实现最大化的任务特定知识注入(适应性目标),并探索该知识在不同架构间的可迁移性。

2. 方法体系

  • 2018:Lottery Ticket Hypothesis (LTH)——提出过参数化网络中存在稀疏子网络,为稀疏适配与抗遗忘提供了理论基石

  • 2019:Adapter——通过在Transformer层间插入小型瓶颈结构实现域迁移,奠定了参数高效微调(PEFT)的架构基础

  • 2021:CLIP——通过对比学习在大规模图文对上对齐视觉与文本表征,确立了零样本与少样本迁移的新范式

  • 2022:LoRA——通过低秩分解冻结主干权重并仅训练低秩增量矩阵,成为基础模型高效微调的事实标准

  • 2023:Task Arithmetic——将微调后的参数差异定义为任务向量,开启了参数空间知识继承的新方向

  • 2024:MiLoRA——利用SVD分解预训练权重,基于次要奇异分量初始化LoRA适配器,提升了微调的鲁棒性

  • 2025:α-LoRA——引入基础模型重缩放参数α,通过随机矩阵理论推导最优缩放因子,显著增强泛化能力

  • 2026:PAM——提出剪枝适配模块,冻结大部分预训练ResNet权重并仅训练稀疏任务层,以极简参数实现强基线的持续学习适配

这条时间线勾勒了该领域方法演进的代表性节点:从 2018 年的 Lottery Ticket Hypothesis (LTH) 奠定该领域方法基线,经 2019 年 Adapter 的推进,到 2026 年的 PAM 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 低秩高效微调

低秩高效微调路线的起源可追溯至 2019 年的 Adapter 结构,其通过在 Transformer 层间插入小型瓶颈结构,以极少量参数实现高效适配,奠定了 PEFT 的架构基础。2022 年 LoRA 的出现进一步将权重更新分解为低秩矩阵乘积,通过冻结主干并注入可训练的低秩矩阵实现高效适配,成为该路线的事实标准。

α-LoRA(El Firdoussi et al., 2025, P5)针对传统 LoRA 在微调过程中可能破坏预训练表征结构的问题,引入了基础模型重缩放参数 $\alpha$。该方法通过随机矩阵理论在高维二元分类设置下推导最优缩放因子 $\alpha^\star$ 的精确理论公式,将缩放参数视为可优化的超参数,从而在保持低秩约束的同时增强模型的适应性。其核心取舍在于以理论推导的复杂性换取泛化能力的显著提升,依赖于高维统计假设,但在实际 LLM 微调实验中验证了其理论有效性。

MoLRE(Yoo et al., 2026, P16)扩展了 LoRA 架构,引入 $K$ 个专门化的低秩专家模块并配备基于输入依赖的路由机制。该方法针对复杂多标签临床场景(如头部 CT 分析)中单一低秩适配器难以捕捉异构特征的问题,通过动态路由将不同输入分配给最相关的专家。其关键技术在于学习路由函数以平衡专家负载,避免专家坍缩,同时保持每个专家的低秩特性以控制计算开销。相比单一 LoRA,MoLRE 在保持参数效率的同时提升了模型对复杂诊断任务的表达能力,适用于需要细粒度特征解耦的医疗影像分析场景。

1%>100% Visual Adapter(Yin et al., 2026, P13)提出多分支低秩投影结构,通过优化复杂线性投影矩阵来替代传统适配器中的简单瓶颈结构。该方法针对视觉基础模型中适配器参数利用率低的问题,设计了能够捕捉更复杂特征变换的投影层,显著减少了达到同等性能所需的参数量。其核心改进在于将投影过程建模为更灵活的线性映射,而非简单的降维升维,从而在极小参数预算下实现高效适配。该方法依赖于对视觉特征空间线性结构的假设,在 Swin Transformer 等骨干网络上验证了其高效性,为视觉 PEFT 提供了新的架构设计思路。

SLAD(Bensaid et al., 2026, P24)提出共享 LoRA 适配器机制,在教师模型与学生模型之间共享低秩适配器以促进知识蒸馏。该方法针对资源受限环境下大模型部署难题,通过两步蒸馏过程(通用蒸馏+任务特定蒸馏)结合共享适配器,增强模型灵活性并保留预训练知识。其核心创新在于发现共享适配器能更好地传递任务特定知识,同时保持基础模型的通用表征能力。该方法依赖于教师-学生架构的相似性,在边缘设备部署场景中提供了兼顾性能与效率的解决方案,推动了 PEFT 与蒸馏技术的融合。

Few-Shot Continual Learning with Frozen FMs(Chen et al., 2026, P15)结合冻结的 3D 医学影像基础模型骨干与任务特定 LoRA 模块,实现少样本持续学习。该方法针对临床场景中多任务顺序到达且数据稀缺的问题,通过为每个新任务分配独立的 LoRA 适配器,仅训练适配器与任务头,从而在架构设计上消除灾难性遗忘。其核心优势在于无需回放旧任务数据即可保持旧任务性能,同时通过 LoRA 的低秩特性实现高效适配。该方法依赖于基础模型骨干的强泛化能力,在脑 MRI 肿瘤分割与年龄估计任务中验证了其平衡性能,为医疗 AI 持续学习提供了鲁棒范式。

Random Initialization of Gated Sparse Adapters(Retault and Berreby, 2025, P6)基于彩票票假设,研究门控稀疏适配器的随机初始化策略,旨在找到可孤立训练的稀疏子网络。该方法针对全秩差异矩阵($\Delta W$)的适配问题,探索在适配器内部寻找稀疏子网络以实现高效训练,区别于传统低秩方法。其核心思路是将适配器视为一个网络,通过稀疏化其权重来减少计算量并提升泛化能力。该方法依赖于稀疏子网络的存在性假设,在 SmolLM2 等模型上验证了其可行性,为稀疏 PEFT 提供了新的初始化与训练策略,降低了适配器的训练成本。

低秩高效微调路线与鲁棒性路线存在互补关系:前者提供高效的参数更新骨架,后者则需在此基础上引入额外的约束以防止预训练能力退化。

2.2 鲁棒性与抗遗忘

鲁棒性与抗遗忘路线的起源可追溯至 2018 年的 Lottery Ticket Hypothesis (LTH),其提出过参数化网络中存在稀疏子网络,为稀疏适配与抗遗忘提供了理论基石。2024 年 MiLoRA 的出现进一步利用 SVD 分解预训练权重,基于次要奇异分量初始化 LoRA 适配器,旨在减少与预训练行为的干扰,提升了微调的鲁棒性。

FoLoRA(Kim et al., 2026, P25)基于广义 Rayleigh 商优化定义遗忘惩罚与任务效用,通过谱门控 Adam(SAdam)在谱坐标系中应用方向性门控更新。该方法旨在解决微调导致预训练能力退化(灾难性遗忘)的问题,通过优化广义特征向量构建谱坐标系,确保更新方向不干扰预训练行为。其核心创新在于将遗忘约束转化为优化目标的一部分,并通过模型生成的校准数据估计激活统计量。该方法依赖于预训练代理数据的可用性,在 LLM 指令跟随与推理任务中验证了其保持非目标能力的有效性,为鲁棒微调提供了理论指导。

Grow, Don't Overwrite(Adila et al., 2026, P17)通过功能保持方式扩展 Transformer 模型中的 MLP 子模块,在不改变初始行为的前提下增加模型容量。该方法针对微调导致基础能力丧失的问题,提出通过增加 MLP 中间维度并初始化新权重为零,确保模型初始输出不变,随后仅训练新增部分。其核心思路是将适配过程从“修改现有权重”转变为“增长新容量”,从而在架构层面避免对预训练知识的覆盖。该方法依赖于 Transformer MLP 结构的模块化特性,在科学推理与医疗诊断任务中验证了其保持基础算术与通用能力的有效性,为抗遗忘提供了结构性解决方案。

VeFA(Wang et al., 2025, P4)提出基于特征空间向量分析的鲁棒微调方法,通过量化预训练与微调权重间的方向变化来评估遗忘程度。该方法针对 LoRA 等 PEFT 方法在微调后可能导致的性能退化问题,引入“入侵维度”概念,利用 SVD 分解分析权重矩阵的主奇异向量变化。其核心改进在于使用更鲁棒的方向度量替代余弦相似度,以克服神经网络对称性带来的度量偏差。该方法依赖于对特征空间几何结构的分析,在 CLIP 等视觉语言模型上验证了其减少遗忘的有效性,为评估与优化微调鲁棒性提供了新工具。

GMixout(Aminbeidokhti et al., 2025, P2)重新审视 Mixout 正则化技术,提出广义 Mixout(GMixout)以增强基础模型在分布偏移下的鲁棒性。该方法针对标准 Mixout 在长尾分布与 OOD 任务中表现不佳的问题,通过混合预训练模型与当前微调模型的输出进行正则化,平衡 ID 与 OOD 性能。其核心创新在于动态调整混合比例,以适应不同数据分布下的泛化需求。该方法依赖于预训练模型作为鲁棒锚点,在 ImageNet-LT 与 CIFAR100-LT 等基准上验证了其提升长尾类别性能的有效性,为鲁棒微调提供了简单而有效的正则化策略。

PIECE(Wang et al., 2025, P7)基于参数重要性评估驱动持续学习,通过生成固定梯度掩码保护关键参数,仅更新与新任务最相关的小部分参数。该方法针对基础模型在持续学习中灾难性遗忘的问题,利用新任务数据评估每个参数的重要性,并据此构建掩码以限制更新范围。其核心改进在于将参数重要性评估与掩码更新结合,避免了传统正则化方法的计算开销。该方法依赖于参数重要性与新任务相关性的假设,在 Llama3 等 LLM 上验证了其在下游任务性能与能力保持方面的优势,为高效持续学习提供了新范式。

Epsilon-Scheduling Robust Fine-Tuning(Ngnawé et al., 2025, P1)提出从非鲁棒预训练模型进行鲁棒微调的 $\epsilon$ 调度策略,通过动态调整对抗训练强度来缓解次优迁移问题。该方法针对现有鲁棒微调方法依赖鲁棒预训练骨干的限制,提出在非鲁棒模型上通过调度对抗扰动幅度 $\epsilon$,逐步增强模型的对抗鲁棒性。其核心创新在于识别了预训练与下游任务间鲁棒性迁移的瓶颈,并通过调度策略优化训练过程。该方法依赖于对抗训练框架,在自然语言与计算机视觉任务中验证了其在无鲁棒预训练数据情况下的有效性,扩展了鲁棒微调的适用范围。

鲁棒性路线与低秩高效微调路线存在继承关系:鲁棒性约束通常施加于低秩适配器之上,以弥补低秩更新可能导致的预训练能力退化。

2.3 任务向量迁移

任务向量迁移路线的起源可追溯至 2023 年的 Task Arithmetic,其将微调后的参数差异定义为任务向量,通过线性操作实现任务组合与复用,开启了参数空间知识继承的新方向。

Bilinear Coordinate Alignment(Son et al., 2026, P23)提出双线性坐标对齐机制,通过匹配不同模型间的激活统计量实现任务向量的免训练传输。该方法针对预训练模型家族中不同变体间任务知识无法直接迁移的问题,利用校准输入构建输入激活矩阵,并通过双线性插值对齐序列长度。其核心创新在于将任务向量形成过程分解为梯度更新与激活统计的交互,从而在参数空间外建立映射关系。该方法依赖于模型间激活分布的相似性,在跨架构模型间验证了其传输有效性,为模型变体间的知识继承提供了低成本解决方案。

Task Matrices(O' Brien et al., 2025, P11)提出任务矩阵概念,即从基础模型到微调模型嵌入状态的线性变换,用于跨模型微调迁移。该方法针对微调知识难以在不同模型间复用的问题,通过线性近似概念映射,证明 Transformer 嵌入空间中存在线性编码。其核心创新在于发现基础模型加上任务矩阵即可超越线性探针性能,接近微调水平,且计算成本低。该方法依赖于嵌入空间的线性可分性假设,在视觉与文本模型上验证了其数据效率与泛化能力,为跨模型知识迁移提供了新的线性映射范式。

Transporting Task Vectors(Rinaldi et al., 2026, P14)提出在不同架构间传输任务向量的方法,通过近似源模型更新层在目标模型中的功能实现免训练迁移。该方法针对同架构不同宽度或参数模型间任务向量无法直接应用的问题,利用输入输出激活矩阵构建层间映射。其核心思路是寻找目标模型中的更新权重,使其层功能近似源模型更新后的层功能。该方法依赖于层间功能的可近似性,在 ViT 等视觉模型上验证了其跨宽度迁移的有效性,为模型家族内的知识共享提供了技术路径。

Mashup Learning(Lo Cicero Vaina et al., 2026, P18)提出通过混合历史检查点加速微调的方法,利用模型合并技术从多个下游任务检查点中选择并合并以初始化新任务模型。该方法针对微调过程中重复计算与超参数搜索成本高的问题,建立检查点库,并通过任务特定指标选择最佳检查点进行合并。其核心创新在于将历史微调成果视为可复用资源,通过合并技术实现快速初始化。该方法依赖于检查点间的架构一致性,在 LLM 微调中验证了其加速收敛与提升性能的有效性,为高效微调提供了资源复用策略。

Constraint-based Pre-training (WeiT)(Feng et al., 2026, P21)提出基于约束的预训练范式,通过 Kronecker 约束将尺寸无关知识解耦为可复用权重模板,并分配尺寸特定适配给轻量级权重缩放器。该方法针对预训练模型固定尺寸限制部署灵活性的问题,将可变尺寸模型初始化重构为多任务适配问题。其核心创新在于利用结构化约束在预训练阶段分离通用知识与特定尺寸知识,从而实现跨尺寸初始化。该方法依赖于参数结构的可分解性,在 ViT 等模型上验证了其在不同规模模型间知识转移的有效性,为可扩展模型初始化提供了新范式。

任务向量迁移路线与低秩高效微调路线存在互补关系:任务向量通常基于低秩适配器微调后的参数差值提取,而低秩适配器则为任务向量的线性表示提供了结构基础。

2.4 少样本与跨域适配

少样本与跨域适配路线的起源可追溯至 2021 年的 CLIP,其通过对比学习在大规模图文对上对齐视觉与文本表征,确立了零样本与少样本迁移的新范式,成为视觉基础模型适配的核心基线。

BOLT(Park et al., 2025, P9)提出基于共享正交基的低秩迁移方法,通过将任务向量表示在公共子空间中加速少样本与测试时适配。该方法针对少样本场景下模型初始化对成功适配的关键影响,利用正交基构建任务向量的公共表示空间。其核心创新在于复用同一子空间,使模型能更快适配未见任务向量,减少了任务间的干扰。该方法依赖于任务向量的低秩结构假设,在 CLIP 等视觉模型上验证了其在 1-shot 至 16-shot 设置下的性能优势,为高效少样本适配提供了新的表示学习框架。

PAM(Gok Yildirim et al., 2026, P19)提出剪枝适配模块,通过冻结大部分预训练 ResNet 权重并启用稀疏任务特定层,实现高效持续学习。该方法针对基础模型持续学习中参数冗余与遗忘问题,设计极简适配架构,仅训练少量稀疏层。其核心改进在于通过剪枝大幅减少可训练参数与总参数,同时保持强基线性能。该方法依赖于预训练特征的鲁棒性,在 ResNet 骨干上验证了其在类增量学习中的优势,为资源受限场景下的持续适配提供了简单而强大的基线。

ComBo(Ramtoula et al., 2025, P8)提出基于探针的方法,通过高效适配层组合多个基础模型的特征,解决单一模型表征局限性。该方法针对不同预训练目标导致模型表征差异的问题,设计探针适配器以高效融合多层与多模型特征。其核心创新在于避免简单堆叠导致的高维输入问题,通过任务依赖的平均池化与线性层实现特征整合。该方法依赖于多模型特征的互补性,在 Oxford 等数据集上验证了其在下游任务中的性能提升,为多模型特征融合提供了高效探针范式。

Probabilistic Geometric Alignment(Aueawatthanaphisut and Auewattanapisut, 2026, P20)提出基于贝叶斯潜空间传输的概率几何对齐方法,用于域自适应基础模型。该方法针对低数据目标域中分布偏移与过度拟合问题,将潜表征建模为随机变量,通过贝叶斯框架处理不确定性。其核心创新在于利用 PAC-Bayesian 域自适应界指导对齐过程,避免表征坍缩。该方法依赖于潜空间分布的可建模性,在低监督场景下验证了其在源-目标域对齐中的有效性,为鲁棒域自适应提供了概率化解决方案。

SOR(Ewen et al., 2025, P3)提出结构化输出正则化框架,通过组合 Group Lasso 与 L1 惩罚冻结内部网络结构并适配任务特定层。该方法针对少样本迁移学习中过拟合问题,设计正则化策略以限制模型对噪声数据的敏感。其核心改进在于将正则化应用于卷积滤波器或网络块,实现细粒度的参数约束。该方法依赖于任务特定特征的稀疏性假设,在医疗影像等少数据任务中验证了其提升泛化能力的有效性,为少样本迁移提供了简单而有效的正则化框架。

TFM-Retouche(Nguyen et al., 2026, P22)提出轻量级输入空间适配器,用于表格基础模型(TFMs)的隐式模式识别。该方法针对 TFM 在识别隐式文本/图像模式时的局限性,设计维度保持、近恒等初始化的输入边界适配器。其核心创新在于仅在前向传播输入端进行适配,避免权重空间 PEFT 的复杂性,且保持黑盒推理特性。该方法依赖于输入特征的线性可修正性,在 TabArena-Lite 等基准上验证了其在分类与回归任务中的性能提升,为表格数据高效适配提供了新范式。

少样本与跨域适配路线与鲁棒性路线存在交叉关系:少样本场景下的过拟合风险与分布偏移下的鲁棒性不足往往同时出现,需结合正则化与概率对齐策略共同解决。

2.5 蒸馏与压缩部署

蒸馏与压缩部署路线的起源可追溯至 2023 年的 Task Arithmetic,其通过任务向量的线性操作实现了模型合并与复用,为后续蒸馏与压缩技术提供了理论基础。

SLAD(Bensaid et al., 2026, P24)提出共享 LoRA 适配器机制,在教师与学生模型间共享低秩适配器以促进任务特定知识蒸馏。该方法针对资源受限环境下大模型部署难题,通过两步蒸馏过程结合共享适配器,增强模型灵活性并保留预训练知识。其核心创新在于发现共享适配器能更好地传递任务特定知识,同时保持基础模型的通用表征能力。该方法依赖于教师-学生架构的相似性,在边缘设备部署场景中提供了兼顾性能与效率的解决方案,推动了 PEFT 与蒸馏技术的融合。

PAM(Gok Yildirim et al., 2026, P19)提出剪枝适配模块,通过冻结大部分预训练 ResNet 权重并启用稀疏任务特定层,实现模型压缩与高效适配。该方法针对基础模型参数冗余问题,设计极简适配架构,仅训练少量稀疏层,显著减少可训练参数与总参数。其核心改进在于通过剪枝实现约 5 倍可训练参数与 6 倍总参数减少,同时保持强基线性能。该方法依赖于预训练特征的鲁棒性,在 ResNet 骨干上验证了其在持续学习中的效率优势,为边缘设备部署提供了轻量化适配方案。

Constraint-based Pre-training (WeiT)(Feng et al., 2026, P21)提出基于约束的预训练范式,通过 Kronecker 约束将尺寸无关知识解耦为可复用权重模板,实现可变尺寸模型初始化。该方法针对预训练模型固定尺寸限制部署灵活性的问题,将可变尺寸模型初始化重构为多任务适配问题,分配尺寸特定适配给轻量级权重缩放器。其核心创新在于利用结构化约束在预训练阶段分离通用知识与特定尺寸知识,从而实现跨尺寸初始化。该方法依赖于参数结构的可分解性,在 ViT 等模型上验证了其在不同规模模型间知识转移的有效性,为可扩展模型部署提供了新范式。

Private Mask Pre-Training (PMP)(Wang et al., 2026, P12)提出私有掩码预训练框架,通过将表征学习集中于早期识别的稀疏子网络,构建非微调基础模型。该方法针对开源模型面临的经济与安全风险,通过保持掩码私有并仅发布稠密权重,迫使未授权微调更新与预训练子空间错位的参数。其核心创新在于利用预训练几何与微调目标的不匹配来稳定化模型,限制未授权适配增益。该方法依赖于稀疏子网络的早期形成,在 LLM 上验证了其在保持广泛可用性的同时限制未授权微调的有效性,为模型安全部署提供了新策略。

TFM-Retouche(Nguyen et al., 2026, P22)提出轻量级输入空间适配器,用于表格基础模型(TFMs)的高效部署与适配。该方法针对 TFM 在资源受限场景下的计算开销问题,设计维度保持、近恒等初始化的输入边界适配器,仅在前向传播输入端进行适配。其核心创新在于避免权重空间 PEFT 的复杂性,保持黑盒推理特性,且参数量远小于基础模型。该方法依赖于输入特征的线性可修正性,在 TabArena-Lite 等基准上验证了其在分类与回归任务中的性能提升,为表格数据高效部署提供了新范式。

Mashup Learning(Lo Cicero Vaina et al., 2026, P18)提出通过混合历史检查点加速微调的方法,利用模型合并技术从多个下游任务检查点中选择并合并以初始化新任务模型。该方法针对微调过程中重复计算与存储开销高的问题,建立检查点库,并通过任务特定指标选择最佳检查点进行合并。其核心创新在于将历史微调成果视为可复用资源,通过合并技术实现快速初始化,减少 GPU 小时消耗。该方法依赖于检查点间的架构一致性,在 LLM 微调中验证了其加速收敛与提升性能的有效性,为高效模型部署与迭代提供了资源复用策略。

蒸馏与压缩部署路线与任务向量迁移路线存在继承关系:蒸馏过程常利用任务向量或检查点合并技术实现知识的高效传递,而任务向量迁移则为蒸馏提供了免训练的知识初始化手段。

2.6 跨任务与多领域应用

跨任务与多领域应用是前述方法路线在具体场景中的落地体现。在医疗影像领域,MoLRE(Yoo et al., 2026, P16)针对头部 CT 分析中的异构特征问题,通过混合专家机制提升了模型对复杂诊断任务的表达能力;Few-Shot Continual Learning with Frozen FMs(Chen et al., 2026, P15)则在脑 MRI 肿瘤分割与年龄估计任务中验证了冻结骨干与独立 LoRA 适配器在持续学习中的鲁棒性。在表格数据领域,TFM-Retouche(Nguyen et al., 2026, P22)通过输入空间适配器解决了表格基础模型在隐式模式识别中的局限性,并在 TabArena-Lite 基准上取得了显著性能提升。在自然语言处理领域,Mashup Learning(Lo Cicero Vaina et al., 2026, P18)通过检查点混合加速了 LLM 微调,而 FoLoRA(Kim et al., 2026, P25)则在 LLM 指令跟随与推理任务中验证了其保持非目标能力的有效性。

这些跨领域应用表明,基础模型微调方法已从通用的视觉与语言任务扩展至医疗、表格、遥感等垂直领域,其核心挑战在于如何在特定领域的数据稀缺与分布偏移下,保持基础模型的通用能力并实现高效适配。

3. 关键共识、分歧与开放问题

3.1 领域共识

参数高效微调(PEFT)如 LoRA 在降低计算成本的同时,通常比全参数微调更能缓解灾难性遗忘,保留预训练模型的通用能力,这一共识在约 15 篇论文中得到共同支持。预训练基础模型在下游任务上的表现高度依赖于预训练数据与目标任务的分布匹配度,分布偏移是导致性能下降的主要原因,约 12 篇论文共同支持这一观点。冻结主干网络并仅训练轻量级适配器或头部层,是应对数据稀缺和计算资源受限场景的有效策略,约 10 篇论文共同支持。

与此相关的另一个共识是灾难性遗忘是微调过程中的核心挑战,需要通过正则化、知识蒸馏或参数隔离机制来显式约束模型更新,约 14 篇论文共同支持。任务向量(Task Vector)作为参数差值,能够有效编码任务特定知识,并支持模型合并与跨任务组合,约 8 篇论文共同支持。鲁棒性不仅指对抗鲁棒性,还包括对分布偏移、长尾数据和常见扰动的稳定性,鲁棒微调需多目标优化,约 9 篇论文共同支持。在少样本学习场景中,简单的线性探测或轻量级适配往往优于复杂的全参数微调,因为后者容易过拟合,约 7 篇论文共同支持。持续学习场景中,为每个任务分配独立的适配器或掩码参数,比共享参数更能有效防止任务间干扰,约 6 篇论文共同支持。

3.2 观点分歧

低秩约束的表达能力瓶颈是领域内的核心分歧之一。LoRA 派认为任务差异主要存在于低维子空间,低秩更新足以捕捉,且更鲁棒;全参/高秩派则认为复杂推理或多模态任务需要高维更新空间,低秩约束导致性能上限低。现有证据偏向 LoRA 派在少样本和标准分类任务上,但在 GLUE 等复杂推理任务上,全参微调仍略优。证据强度中等,缺乏统一基准下的公平对比(参数量/训练步数未对齐),分歧根源在于缺乏对“任务复杂度”与“所需秩”之间关系的定量理论分析,且不同骨干网络对低秩的敏感度不同。

这一分歧的背后,是另一个更根本的争论:任务向量的线性假设。线性派认为任务向量在参数空间中近似线性,支持 Task Arithmetic;非线性派则认为深层非线性架构导致任务间存在复杂交互,线性叠加失效。证据偏向线性派在简单分类任务上,但在多任务组合或对抗鲁棒性任务上,线性叠加常导致性能下降。证据强度较弱,缺乏对非线性交互机制的深入实验,分歧根源在于 Transformer 的非线性激活函数使得参数空间几何结构复杂,现有工具(如 SVD)难以完全刻画任务向量的非线性关系。

3.3 其他开放问题

最紧迫的工程问题在于自动化超参数与适配器选择。当前研究多依赖手动调整适配器秩、层选择及超参数,缺乏基于元学习或激活统计的自动方法,导致少样本场景下验证集不足导致的超参数搜索困难。研究路径包括开发基于任务相似性的协同微调策略,以及探索自适应秩分配与动态稀疏化。

最根本的研究问题在于缺乏对微调过程的高维统计理论解释。当前理论保证多基于特定假设(如线性探针、特定分布),需探索在 Transformer、扩散模型及多模态大模型中的适用性,解决深层非线性架构下参数选择与缩放因子的理论缺失问题。研究路径包括利用随机矩阵理论、贝叶斯推断等工具,为参数高效微调提供高维渐近性能保证,量化微调过程中的表示漂移、遗忘度量及泛化误差界。

已知—争议—未知认知图谱显示:PEFT 的效率优势与鲁棒性改善是已知共识;低秩约束的表达能力瓶颈与任务向量线性假设的普适性是争议焦点;跨模态/跨架构迁移的通用理论框架与高维统计理论解释是未知领域。发展趋势表明,随着理论工具的引入,微调将从经验驱动转向理论指导,实现鲁棒性与可迁移性的统一。

4. 总结与展望

基础模型微调的核心矛盾在于通用表征保留与任务特定适配之间的张力,全参数微调虽性能上限高却伴随灾难性遗忘与高昂算力成本。参数高效微调(PEFT)通过冻结主干并仅更新低秩增量,以牺牲部分表达空间换取计算效率与鲁棒性,成为当前主流范式。随着研究深入,领域焦点从单纯的效率提升转向鲁棒性控制,即如何在分布偏移与持续学习场景下严格保持预训练能力。任务向量(Task Vector)概念的兴起进一步将微调知识解耦为可迁移的线性表示,推动了跨模型知识复用。当前核心瓶颈在于缺乏对微调过程的高维统计理论解释,以及跨模态/跨架构迁移的通用理论框架缺失。

未来可能突破的方向包括:扩展至更广泛的模型家族与架构,解决深层非线性架构下参数选择与缩放因子的理论缺失问题;平衡泛化性与效率的权衡,探索自适应秩分配、动态稀疏化及基于任务相似性的协同微调策略;缓解灾难性遗忘与知识保持,开发无需回放数据或复杂正则化的遗忘缓解机制。对进入者最值得做的一件事是:在统一骨干与统一预训练条件下,系统评测代表性 PEFT 方法在少样本与持续学习场景下的鲁棒性表现,并尝试引入随机矩阵理论工具对低秩更新的泛化机制进行定量分析。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9076 24
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2695 13
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1285 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11111 59
|
3天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
943 0
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1315 1
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。