导读
联邦学习(Federated Learning, FL)旨在通过共享模型更新而非原始数据来协作训练,以缓解数据孤岛与隐私法规的冲突。然而,早期研究假设梯度不包含敏感信息,这一前提被后续工作证伪,揭示了“梯度即泄露”的结构性风险。随着攻击技术从单步梯度反演扩展至多步聚合、视频时序及大语言模型(LLM)场景,隐私威胁的维度不断复杂化。防御机制也从单一的差分隐私(Differential Privacy, DP)噪声注入,演进为结合同态加密与结构扰动的混合体系。各路线在隐私保证、模型效用与计算效率之间做出了不同取舍,由此形成当前攻防博弈深化的方法格局。本综述梳理这条从被动重构到主动操控的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
联邦学习的核心矛盾在于数据分布的异构性与隐私保护的刚性需求。传统集中式训练要求数据集中,而GDPR等法规限制了数据流动,FL通过本地训练与全局聚合实现了“数据不出域”。然而,2019年Zhu等人提出的Deep Leakage from Gradients (DLG) 证明了共享的梯度中蕴含足以重构原始数据的敏感信息,这一发现标志着领域认知从“隐私由设计保证”向“梯度即泄露”的根本转折。在此之前的安全模型假设服务器是诚实的,仅关注模型效用;此后,服务器被重新定义为“诚实但好奇”(Honest-but-Curious)的威胁主体,其目标是通过被动监听梯度来窃取隐私。
问题形式化通常基于N-way K-shot设定,但在FL语境下,核心任务转化为:给定服务器接收到的聚合梯度 $g{server}$,攻击者需寻找虚拟数据 $x{dummy}$ 和标签 $y{dummy}$,使得 $\min{x, y} | \nablax L(f(x; \theta), y) - g{server} |$ 最小化。这一优化问题构成了梯度反演攻击(Gradient Inversion Attack, GIA)的基础。子问题之间存在严格的依赖关系:单步FedSGD下的梯度反演是基础,而FedAvg多步场景下的攻击则依赖于对本地训练轨迹的非线性建模。此外,特定场景如垂直联邦学习(VFL)或参数高效微调(PEFT)的泄露机制,虽然依赖通用的梯度分析技术,但受限于中间表示或低秩结构等独特的结构约束。
早期研究主要关注理想化的IID(独立同分布)数据与单步更新场景。2016-2018年间,度量学习与原型网络奠定了少样本学习的基础,但FL隐私研究尚未独立成型。2019年DLG的出现打破了这一平静,随后2020年Geiping等人的Inverting Gradients (IG) 通过引入总变分正则化,解决了DLG在训练网络中收敛不稳定的问题,确立了优化匹配范式的标准。这一阶段的方法假设攻击者拥有与客户端相同的代理模型和数据分布先验,通过迭代优化虚拟输入来逼近真实数据。
2020-2022年间,研究重心从单步FedSGD转向更复杂的FedAvg多步场景。FedAvg传输的是多步更新的累积差值,导致信号纠缠,现有单步GIA方法难以直接适用。此时,问题定义从“单步梯度反演”演变为“多步更新轨迹建模”,研究者开始开发非线性轨迹建模或插值策略以应对这一挑战。与此同时,攻击面开始扩展至视频、强化学习等新场景,问题从静态图像的被动重构延伸至动态数据的时序泄露。
2023-2025年间,随着LLM和PEFT(如LoRA)的普及,问题聚焦于低秩梯度结构下的新泄露通道。传统基于全参数梯度的攻击在LoRA场景下失效,因为冻结骨干网络限制了信息流,且低秩适配器的结构特性改变了梯度分布。这一时期,防御侧也从简单的DP噪声注入,演进为结合同态加密、稀疏化及可解释性扰动的混合防御体系。2026年的最新工作如TIGER和MineGrad,进一步针对Transformer嵌入子空间和LoRA低秩结构开发了专用攻击,揭示了PEFT在FL中的新隐私漏洞。
如果用一个核心问题概括该领域,那便是:在联邦学习协议下,如何在共享的梯度或模型更新中平衡隐私保护强度、模型收敛效用与系统通信效率,以抵御从被动重构到主动操控的多维隐私威胁。
2. 方法体系
2019:DLG——通过迭代优化虚拟输入以最小化其与真实梯度的欧氏距离,首次证明了从共享梯度中重构训练数据的可行性,奠定了梯度反演攻击的基础
2020:Inverting Gradients——引入余弦相似度损失和全变分正则化,解决了DLG在训练网络中收敛不稳定的问题,显著提升了重构图像的保真度,成为后续攻击的基准
2021:iDLG——通过解析提取最后一层全连接层的梯度符号来推断真实标签,消除了对标签优化的依赖,加速了图像重构过程并提高了攻击稳定性
2022:Robbing the Fed——针对恶意服务器场景,通过修改发送给客户端的模型参数植入特定结构,使得客户端上传的梯度包含可逆的编码信息,实现了近乎完美的数据重构
2023:Fishing——利用辅助数据集和精心设计的模型架构,通过主动攻击策略从批量平均梯度中分离并重构单个样本,突破了被动攻击在大批量场景下的局限
2024:LOKI——结合激活恢复与稀疏反演技术,无需修改模型架构即可从深层全连接层的激活值逆推训练样本,解决了现有主动攻击依赖架构修改的实用性问题
2025:SPEAR++——利用稀疏字典学习和低秩分解,通过Riemannian Adam优化和稀疏匹配系数筛选,实现了在大规模批次下对线性层梯度的精确反演,提升了攻击的可扩展性
2026:TIGER——针对Transformer模型,通过嵌入子空间距离优化实现文本数据的连续恢复,克服了现有文本反演攻击对离散过滤和强语言模型先验的依赖,提升了在量化和噪声环境下的鲁棒性
这条时间线勾勒了该领域方法演进的代表性节点:从 2019 年的 DLG 奠定该领域方法基线,经 2020 年 Inverting Gradients 的推进,到 2026 年的 TIGER 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 梯度反演攻击方法
梯度反演攻击(GIA)是FL隐私泄露的核心威胁,其技术演进经历了从基础优化匹配到生成式辅助,再到稀疏化与场景专用化的过程。早期方法如DLG(Zhu et al., 2019)通过迭代优化虚拟输入以最小化其与真实梯度的欧氏距离,首次证明了从共享梯度中重构训练数据的可行性。然而,DLG在深层网络中易陷入局部最优,重构图像模糊。IG(Geiping et al., 2020)针对这一失败案例,引入余弦相似度损失和全变分正则化,替代了DLG的欧氏距离,显著提升了重构图像的保真度,解决了训练网络中收敛不稳定的问题。IG的取舍在于增加了优化复杂度,需调整正则化参数,但换取了更高的视觉质量。
随着批次规模扩大,传统优化方法在计算上变得不可行。SPEAR++(Bakarsky et al., 2025, P8)针对大规模批次梯度反演难题,提出基于稀疏字典学习的扩展方法。该方法首先对梯度进行低秩分解,随后利用Riemannian Adam在球面上进行一阶优化以寻找稀疏候选解。SPEAR++的核心创新在于将字典学习理论与梯度反演结合,有效解决了高维空间中解的稀疏性问题。其代价是引入了额外的字典学习计算开销,且依赖于梯度具有低秩结构的假设。与IG相比,SPEAR++放弃了全参数优化的通用性,换取了在大规模批次下的可扩展性。
生成式模型作为先验知识,被引入以提升重建图像的视觉保真度。GUIDE(Carletti et al., 2025, P7)观察到传统优化基攻击重构出的图像通常包含噪声,因此引入扩散模型作为后处理去噪工具。GUIDE可以无缝集成到任何使用代理数据集的现有梯度反演攻击框架中,无需修改核心优化过程。其核心优势在于模块化设计,能够独立于具体的攻击算法提升最终输出的视觉保真度。该方法假设攻击者拥有预训练的扩散模型,这增加了攻击的资源需求。GIFD(Fang et al., 2026, P21)则提出通过分层特征优化增强联邦学习中的梯度反演攻击,在生成模型的潜在空间和中间特征空间中依次进行搜索,结合多种攻击增强技术。GIFD利用生成模型的多层特征表示,从粗到细地优化重构结果,克服了单一潜在空间优化的局限性。
针对特定架构和场景,攻击方法也进行了专门化适配。MAGIA(Zhou et al., 2025, P4)针对单轮平均梯度(SAG)场景,提出无需标签推断的梯度反演方法。该方法旨在解决平均梯度中单图像信号纠缠的问题,通过感知平均梯度内部结构来提取单样本信息,避免了对脆弱辅助启发式方法的依赖。Non-Linear Trajectory Modeling(Xia et al., 2025, P5)针对多步FedAvg场景,构建代理模型来模拟本地训练的非线性轨迹,通过优化虚拟数据和代理模型参数,最小化模拟更新与观察到的参数差异之间的重构损失。Video Leakage Pipeline(Rasul et al., 2025, P1)则首次系统性地研究了视频模态在联邦学习中的隐私泄露问题,利用超分辨率技术对提取的帧进行质量增强,揭示了视频数据在FL中的独特泄露路径。
在LLM与PEFT场景下,TIGER(Kalikman et al., 2026, P25)针对Transformer模型,通过嵌入子空间距离优化实现文本数据的连续恢复,克服了现有文本反演攻击对离散过滤和强语言模型先验的依赖。MineGrad(Sami et al., 2026, P26)专门针对LoRA微调场景,利用低秩适配器的结构特性,从微调梯度中精确恢复预训练模型的词嵌入和图像数据,揭示了PEFT在FL中的新泄露通道。这些方法表明,随着模型架构的复杂化,攻击技术必须从通用优化转向结构感知的专用算法。
2.2 隐私防御机制
隐私防御机制的演进反映了从单一噪声注入到混合结构扰动的趋势。差分隐私(DP)是FL中对抗推断攻击的标准基线,但常伴随效用损失。FedMOP(CVPR 2026, P28)提出通过动量正交投影实现联邦学习中隐私与性能平衡的防御机制。该方法在客户端本地训练前,对初始模型施加一个计算出的偏移量,该偏移量通过梯度正交投影设计,确保与本地训练方向垂直。这种正交性保证了偏移量不干扰梯度下降过程,从而允许使用激进的缩放因子以加速收敛并抵消非IID数据引起的局部漂移。FedMOP的取舍在于需计算正交偏移量,增加客户端初始化开销,但换取了同时抵消非IID漂移和隐藏梯度的双重目标。
TIP(Wang and Su, 2026, P18)提出通过目标可解释扰动抵抗联邦学习中梯度反演攻击的防御方法。该方法利用梯度可解释性技术识别模型更新中编码敏感语义信息的特征图,并针对这些特定区域施加扰动。TIP的核心创新在于“目标性”,即只扰动对攻击者最有价值的信息部分,而非全局添加噪声。与FedMOP相比,TIP放弃了全局优化的简洁性,换取了对敏感信息更细粒度的保护,避免了DP中全局噪声导致的精度大幅下降。
混合防御机制旨在平衡隐私、质量和效率。Alt-FL(Wang et al., 2026, P19)提出通过轮次交错保护技术平衡联邦学习中隐私、质量和效率的框架。该方法交替使用DP和选择性同态加密(S-HE)轮次,通过可调的交错比例控制隐私保护强度。在DP轮次中注入噪声以提供理论隐私保证,在S-HE轮次中对最敏感信息进行加密以降低通信和计算开销。Alt-FL的取舍在于增加系统调度复杂度,需动态调整交错比例,但换取了避免单一机制固有缺陷的灵活性。
SVDefense(Luo et al., 2025, P6)提出通过奇异值分解(SVD)有效防御梯度反演攻击的方法。该方法在服务器端对接收到的客户端梯度进行SVD分解,并截断或修改奇异值以破坏梯度中携带的敏感信息结构。SVDefense假设敏感信息主要分布在梯度的次要奇异向量中,这一假设在自然图像数据上通常成立。LSHFed(Cheng et al., 2025, P9)提出一种基于局部敏感哈希(LSH)梯度映射的鲁棒且通信高效的联邦学习防御框架,利用LSH将高维梯度映射为低维哈希位串,在保持相似性的同时显著降低通信开销。Explainable Adaptive DP(Piran et al., 2025, P2)提出一种结合可解释自适应差分隐私的隐私保护去中心化联邦学习框架,利用超向量提供噪声容忍且透明的表示结构。Randomized Response DP(Ozturk et al., 2025, P3)提出一种利用随机响应方法缓解联邦学习中推理攻击的差分隐私机制,针对分类数据采用随机响应机制替代传统的Laplace或Gaussian机制。DDP-SA(Wei et al., 2026, P22)提出一种通过分布式差分隐私和安全聚合结合的可扩展隐私保护联邦学习框架,结合DP的数学保证与SA的密码学安全性,提供多层隐私保护。
2.3 风险量化与评估
风险量化与评估旨在建立梯度泄露与反演攻击的风险量化框架与基准测试。InvRE(Xu et al., 2025, P14)提出一种用于评估联邦学习中数据重构攻击风险的量化指标InvRE。该方法通过分析模型架构的内在特性,如层数、激活函数类型和参数分布,计算出一个反映模型对梯度反演攻击敏感性的分数。InvRE分数与不同模型架构在多种数据集上的重构误差(MSE)表现出显著相关性,为联邦学习系统的隐私审计提供了标准化的评估基准。
Active GIA Detectability(Carletti et al., 2025, P11)研究主动梯度反演攻击在联邦学习中的可检测性,建立评估防御有效性的框架。该方法假设服务器是主动且恶意的,通过操纵全局模型参数来增强攻击效果,而客户端则尝试检测模型是否被篡改。该工作揭示了主动攻击与被动攻击在检测难度上的差异,为设计针对主动攻击的检测机制提供了理论依据。
NIST Genomics MIA Evaluation(Bertoli, 2026, P23)基于NIST基因组学红队挑战,评估差分隐私在联邦学习中对抗成员推断攻击(MIA)的有效性。该方法采用黑盒攻击模型,系统性地评估DP参数对MIA成功率的抑制效果,揭示了DP在复杂生物数据场景下的局限性及优化方向。Remote Sensing MIA(Duong et al., 2026, P15)针对遥感图像联邦学习,利用成员推断攻击进行隐私测量的实证研究,揭示了地理空间数据在联邦学习中的独特隐私风险。
2.4 特定场景隐私研究
特定场景隐私研究聚焦于垂直联邦学习、分割学习及特定数据类型的隐私泄露问题。PISTE(CVPR 2026, P27)针对垂直联邦学习中的分割学习,提出通过恢复嵌入几何结构来窃取底部模型的方法。该方法利用服务器观察到的嵌入流,训练一个对比表示模型来学习嵌入的局部几何结构,而不仅仅是点对点拟合。PISTE揭示了分割学习接口中嵌入泄露的严重性,为垂直联邦学习的隐私保护提供了新的攻击视角。
Efficient Gradient-Based MIA(Montaña-Fernández and Ortega-Fernandez, 2025, P13)提出一种高效的基于梯度的成员推断攻击方法,应用于联邦学习场景。该方法利用影子训练技术,训练多个辅助模型以模拟目标模型的行为,并通过比较目标模型与影子模型在特定输入上的输出差异来推断成员身份。Res-MIA(Zare and Shamsinejadbabaki, 2026, P16)提出一种无需训练的基于分辨率的成员推断攻击方法,针对联邦学习模型。该方法通过渐进式侵蚀输入图像的高频信息,观察模型预测置信度的变化来推断样本是否属于训练集,计算成本极低。
3. 关键共识、分歧与开放问题
3.1 领域共识
共享的梯度或模型更新不可避免地包含训练数据的敏感信息,FL的“数据不出域”设计本身不能保证隐私安全,这一共识在约30篇论文中得到共同支持。差分隐私(DP)是缓解梯度泄露和成员推断攻击的有效手段,但存在隐私预算与模型效用之间的显著权衡,需精细校准噪声参数,这一共识在约20篇论文中得到共同支持。优化匹配(Optimization-based)是GIA的主流范式,通过最小化真实梯度与虚拟数据梯度的差异实现重建,但受限于收敛速度和局部最优问题,这一共识在约25篇论文中得到共同支持。
与此相关的另一个共识是,诚实但好奇(Honest-but-Curious)服务器是最常见的威胁模型,攻击者无需破坏协议即可通过被动监听获取隐私,这一共识在约28篇论文中得到共同支持。非独立同分布(Non-IID)数据分布不仅影响FL收敛,还通过引入分布偏置加剧了源推断和成员推断攻击的成功率,这一共识在约15篇论文中得到共同支持。参数高效微调(如LoRA)虽降低了通信开销,但其低秩梯度结构形成了新的泄露通道,传统全参数攻击方法需适配调整,这一共识在约8篇论文中得到共同支持。
3.2 观点分歧
生成式模型在梯度反演攻击中的角色是必要组件还是可选增强,存在显著分歧。观点A(GUIDE/GIFD)认为生成式先验(扩散/GAN)是提升高保真重建的关键,尤其在高维数据下;观点B(SPEAR++/MAGIA)认为稀疏化/几何分析足以解决大规模问题,生成式增加不必要计算成本。现有证据偏向观点A在视觉质量上,但观点B在计算效率上占优。证据强度中等:缺乏在实时FL系统中部署生成式攻击的实证。这一分歧的背后,是另一个更根本的争论:混合防御机制(DP+HE+结构扰动)是否优于单一DP?观点A(Alt-FL/DDP-SA)认为混合机制平衡隐私、效用和效率,适合大规模部署;观点B(Explainable Adaptive DP)认为单一DP(自适应)更简单、可验证,混合机制增加系统复杂度。现有证据偏向观点A在效用保持上,但观点B在可解释性和部署简易性上占优。证据强度弱:缺乏大规模真实世界部署的长期实证。
3.3 其他开放问题
最紧迫的工程问题是高保真重建与计算成本的矛盾。优化类GIA收敛慢且易陷入局部最优,生成式方法虽提升视觉质量但需额外训练先验模型,难以在实时FL系统中部署。关键困难在于缺乏统一的隐私-效用-效率量化框架,不同场景下最优解不同。研究路径包括开发针对非IID数据和异构客户端的梯度反转攻击检测方法,以及研究结合生成式先验的梯度反转攻击增强技术。
最根本的研究问题是LLM与PEFT场景的泄露机制不明。LoRA/Adapter的低秩特性改变了梯度结构,传统基于全参数梯度的攻击失效,且冻结骨干网络限制了信息流。关键困难在于LLM/PEFT的隐私泄露机制理论解释不足,且模型规模巨大,实验成本高。研究路径包括开发针对联邦大语言模型(FedLLM)和参数高效微调(PEFT)的隐私保护机制,以及探索脉冲神经网络(SNN)在联邦学习中的隐私保护特性。
已知—争议—未知认知图谱显示,领域已知梯度泄露不可避免且DP有效但昂贵;争议在于生成式攻击的必要性与混合防御的优越性;未知在于LLM/PEFT低秩泄露机制的理论解释及SNN天然隐私特性的形式化保证。发展趋势将向结构感知防御与高效攻击检测结合的方向演进。
4. 总结与展望
联邦学习隐私保护已从“设计保证”转向“攻防博弈”。核心矛盾在于隐私保证(DP/HE)与模型效用/效率的不可兼得。早期方法如DLG/IG确立了优化匹配范式,但受限于收敛速度和局部最优;随后GUIDE/GIFD引入生成式先验提升视觉质量,SPEAR++通过稀疏化解决大规模问题;防御侧从单一DP演进为FedMOP/TIP的结构扰动及Alt-FL/DDP-SA的混合机制。核心瓶颈在于缺乏统一的隐私-效用-效率量化框架,导致不同场景下最优解不同。
未来可能突破的方向包括:1)开发针对非IID数据和异构客户端的梯度反转攻击检测方法,解决现有检测器在部分参与和异步设置下高假阳性率的问题(P11, P14);2)研究结合生成式先验(如扩散模型、流匹配)的梯度反转攻击增强技术,解决高维数据和大批量场景下重建质量下降的问题(P7, P21);3)探索脉冲神经网络(SNN)在联邦学习中的隐私保护特性,利用其离散和时序耦合激活特性天然抵抗梯度泄漏(未来方向)。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,构建一个涵盖隐私、效用和效率的多维评测基准,以解决当前评测体系缺乏公平比较的问题。
以上为节选,完整内容见ArxivReview