综述原文见 ArxivReview
导读
大语言模型(LLM)正在重塑软件测试与修复的技术范式,其核心价值在于将传统的静态规则匹配升级为具备语义推理能力的动态闭环系统。早期研究聚焦于函数级补丁生成,通过预训练模型补全代码序列,思路简洁却受制于上下文窗口与泛化能力的双重瓶颈。当 SWE-bench 等仓库级基准暴露出跨文件依赖与全局一致性的难题后,研究者引入智能体工作流与检索增强生成,用迭代修正与外部知识换取对复杂代码库的鲁棒理解。随后,强化学习与动态执行反馈的引入,进一步解决了监督微调在逻辑漏洞修复中的过拟合与奖励稀疏问题。各路线在推理深度、计算成本与验证可靠性之间做出了不同取舍,由此形成当前生成式、智能体式与强化学习式多元并存的方法格局。本综述梳理这条从局部补全到自主维护的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
软件测试与修复领域的兴起,源于传统静态分析与动态测试在面对现代软件系统复杂性时的局限性,以及人工修复漏洞的高昂成本。早期自动程序修复(Automated Program Repair, APR)依赖基于监督学习或代码预训练模型(CodePTM)的方法,通过观察漏洞-修复对来生成补丁,但泛化能力有限。核心问题在于,逻辑漏洞不像内存错误那样有明确的崩溃信号或修复模式,导致 LLM 难以通过简单的模式匹配生成正确补丁,需依赖深层语义理解。这一根本矛盾决定了该领域必须从单纯的文本生成转向具备推理与验证能力的复杂系统。
问题定义经历了从“局部代码补全”到“全局仓库维护”再到“可靠自动化闭环”的三级跳。最初,任务被形式化为在给定函数上下文 $C$ 和故障描述 $D$ 下,生成最小编辑补丁 $P$,使得测试套件 $T$ 从失败转为通过,即 $\min_{P} \text{EditDist}(P) \text{ s.t. } T(C+P) = \text{Pass}$。然而,随着软件架构的复杂化,子问题呈现出强依赖关系:故障定位(Fault Localization, FL)是修复的前置条件,定位不准则修复无效;测试生成与预言(Oracle)构建是验证修复正确性的必要条件,缺乏有效测试则无法确认修复成功;而强化学习与动态反馈则是提升上述环节可靠性的底层优化机制。这种依赖结构使得单一模块的优化无法独立带来端到端性能的提升。
2016-2018 年的奠基阶段,以 GenProg 为代表的基于遗传编程的方法确立了“故障定位-补丁生成-验证”的经典范式,但受限于搜索空间爆炸,难以应对复杂逻辑。2020 年前后,Defects4J 等基准的普及推动了基于预训练模型的神经生成式方法,如 AlphaRepair,验证了 LLM 在理解代码上下文方面的潜力,标志着从搜索向生成的过渡。然而,这些方法在跨域基准上暴露出域偏移下的原型崩溃问题,即模型在训练分布外的代码上表现急剧下降。
2023-2024 年是范式转移的关键转折期。SWE-bench 等基准的提出将研究重心从函数级修复推向仓库级(Repository-level)自动化维护,要求模型在完整代码库上下文中解决用户报告的问题,涉及文件定位、依赖分析和全局一致性。SWE-Agent 等智能体框架的出现,允许 LLM 通过执行 Shell 命令、编辑文件等交互行为进行迭代式修复,突破了传统单次生成补丁的局限。这一阶段的核心约束变化是:上下文窗口不再是唯一瓶颈,如何高效检索与噪声平衡成为关键,过度扩展上下文会引入噪声降低修复率,而上下文不足则导致修复不完整。
2025-2026 年,研究进一步聚焦于可靠性与自动化闭环。Vul-R2 和 BoostAPR 等工作引入强化学习(RL)与可验证反馈,解决监督微调(SFT)中奖励稀疏和过拟合问题。多智能体(Multi-Agent)协作在测试生成、漏洞定位和修复验证中的应用日益普及,旨在解决单一 LLM 推理偏差和幻觉问题。当前领域处于高度活跃阶段,研究重心已从单一的代码补全转向结合动态执行信息、符号分析与语义推理的混合框架,追求零接触(Zero-Touch)的代码维护目标。
如果用一个核心问题概括该领域,那便是:如何在缺乏完美测试预言和完整上下文的情况下,利用 LLM 的语义推理能力结合动态执行反馈,实现从故障定位到补丁生成再到验证闭环的端到端自动化软件维护。
2. 方法体系
2009:GenProg——基于遗传编程的自动程序修复先驱
2014:Defects4J——构建包含真实 Java 项目 Bug 及对应测试套件的标准基准数据集
2021:VulDeBERT——基于 BERT 的判别式漏洞检测方法
2022:AlphaRepair——利用大语言模型进行代码补全式补丁生成的早期探索
2023:SWE-Agent——引入工具使用能力的智能体框架
2024:SWE-bench——构建基于真实 GitHub 仓库 Issue 的端到端修复基准
2025:Vul-R2——结合领域感知推理学习与课程式可验证奖励训练的漏洞修复框架
2026:RAVEN——引入智能体检索增强生成(Agentic RAG)的漏洞修复框架
这条时间线勾勒了该领域方法演进的代表性节点:从 2009 年的 GenProg 奠定该领域方法基线,经 2014 年 Defects4J 的推进,到 2026 年的 RAVEN 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 漏洞检测与修复
漏洞检测与修复路线的起源可追溯至 2021 年 VulDeBERT 提出的基于代码片段嵌入的判别式方法,其通过预训练语言模型实现了细粒度的漏洞识别,推动了从静态规则分析向深度学习语义分析的转变。然而,早期方法多局限于函数级上下文,难以处理跨文件依赖。Vul-R2(Wen et al., 2025, P7)针对传统监督学习在复杂多 Hunk 修复中泛化能力不足及奖励信号噪声大的问题,提出了基于推理能力的漏洞修复大语言模型框架。其核心包含领域感知推理学习模块与课程式可验证奖励训练模块,前者通过构建漏洞相关推理数据并进行 SFT 训练,使模型初步熟悉推理过程;后者利用可验证反馈进行强化学习,分阶段从选择题进阶到复杂修复任务。该方法通过课程学习平滑优化景观,使模型能够聚焦全局依赖对齐,显著提升了模型在未见漏洞类型上的修复成功率,但代价是训练流程复杂,依赖高质量的可验证反馈数据。
RAVEN(Gadey et al., 2026, P24)则针对 LLM 修复缺乏全局视野的局限,设计了智能体检索增强生成(Agentic RAG)框架。该框架将 RAG 引入修复流水线,通过词汇、语义和句法漏洞模式主动引导检索过程,动态识别并获取项目仓库中的相关上下文信息。其创新在于结合智能体推理机制,自动捕获跨文件及全局代码依赖,实现超越局部代码区域的上下文感知修复。此外,RAVEN 采用迭代细化机制,利用静态分析工具和补丁审查模块对生成的补丁进行渐进式评估与修订。该方法克服了传统 LLM 修复缺乏全局视野的局限,但依赖外部知识库的质量及检索策略的有效性。与 Vul-R2 侧重内部推理能力不同,RAVEN 侧重外部知识增强,两者在“参数化记忆”与“非参数化检索”之间做出了不同取舍,前者在特定领域知识密集时更具优势,后者在通用代码库中更具泛化性。
针对特定类型漏洞,LRR(Sung et al., 2025, P8)提出了一种基于定位引导指令的正则表达式漏洞修复框架,专门针对 ReDoS 攻击。该方法假设直接让 LLM 修复复杂正则表达式是无效的,因此引入符号分析模块精确定位易受攻击的子模式,将广泛复杂的问题转化为更小、更可控的子问题。LLM 随后专注于生成针对特定子模式的修复,确保新正则表达式既安全又语义等价。这种混合框架结合了符号分析的精确性与 LLM 的生成能力,克服了传统基于合成方法需要大量示例集及基于规则系统缺乏泛化能力的缺陷。其核心取舍在于依赖符号分析模块对漏洞子模式的准确识别,若定位失败则后续修复无效。T2L-Agent(Xi et al., 2025, P5)则进一步将定位粒度细化至行级,提出一种从运行时追踪到行级定位的 LLM 智能体框架。该框架包含智能体追踪分析器(ATA),整合了规划器与执行器智能体,通过迭代分析崩溃报告、运行时证据及静态分析结果,精确定位漏洞所在的代码行。它利用统一证据块整合多源信息,并通过迭代细化机制不断优化定位精度,解决了传统方法仅提供文件级或函数级粗粒度预测的问题。T2L-Agent 强调证据的交叉验证,通过对比指标分析来确认定位结果,提高了定位的可信度。其代价是依赖高质量的运行时追踪数据,且多智能体协作增加了系统复杂性与延迟。
2.2 通用程序修复
通用程序修复路线在 2022 年 AlphaRepair 验证 LLM 代码补全潜力后,迅速向仓库级扩展。BoostAPR(Li et al., 2026, P22)提出一种结合执行接地强化学习与双重奖励模型的自动化程序修复训练框架。该框架分为三个阶段,首先进行执行验证的推理迁移,其次从执行反馈中训练序列级与行级双重奖励模型,最后在线 PPO 优化策略。序列级奖励模型评估整体补丁质量,行级奖励模型进行细粒度信用分配,两者共同指导策略优化,解决了执行反馈稀疏导致的优化困难。BoostAPR 通过混合回归与成对偏好目标训练奖励模型,防止学习虚假相关性,确保奖励信号直接反映补丁质量。其核心创新在于将执行反馈转化为密集的监督信号,提升了 LLM 在复杂 Bug 修复中的鲁棒性。该方法依赖高质量执行环境以获取准确反馈,且训练过程计算成本较高。
DynaFix(Huang et al., 2025, P13)设计了一种由执行级动态信息驱动的迭代自动化程序修复框架,旨在解决 LLM 修复中静态输入信息不足的问题。DynaFix 通过插桩程序收集变量状态、控制流路径及调用栈等动态执行信息,并将其作为上下文输入 LLM,丰富补丁生成的语义基础。该框架采用迭代修复范式,LLM 基于动态反馈生成候选补丁并逐步细化,克服了传统方法对训练数据分布敏感及泛化能力差的缺陷。其核心模块包括动态信息提取器与迭代生成器,通过多轮交互提升修复精度。DynaFix 的代价是动态信息收集增加了运行时开销,且对插桩工具依赖性强。与 BoostAPR 侧重训练阶段的奖励优化不同,DynaFix 侧重推理阶段的动态上下文注入,两者在“离线策略优化”与“在线证据利用”上形成了互补。
CT-Repair(Huang et al., 2026, P26)提出一种多视角智能体程序修复框架,利用代码属性图(CPG)与时间执行图(TEG)构建可查询的静态与动态证据库。该框架包含三个有限状态机引导的智能体,分别从静态、动态及混合视角独立分析 Bug,形成根因假设并推导修复策略。第二阶段通过策略轮询调度,利用多个 LLM 实例化修复策略生成候选补丁,并通过编译与测试验证反馈进行迭代优化。CT-Repair 的创新在于多视角证据融合与策略驱动的补丁生成,避免了单一视角的局限性。其代价是多智能体协作与图构建增加了系统复杂度与计算资源消耗。RepoRepair(Pan et al., 2026, P17)则提出一种利用代码文档增强仓库级自动化程序修复的方法,旨在解决 LLM 在大规模代码库中难以理解架构意图与隐式契约的问题。该方法通过检索与 Issue 相关的代码文档及注释,为 LLM 提供额外的语义上下文,辅助其进行文件定位与补丁生成。RepoRepair 采用两阶段流水线,首先通过嵌入模型检索相关文件,然后基于检索结果迭代生成修复补丁,结合了检索增强与上下文感知修复的设计原则。其核心改进在于引入非代码文本(文档)作为修复信号,弥补了纯代码分析的不足。该方法依赖代码库中文档的完整性与准确性,若文档缺失或过时则效果受限。
REFINE(Pabba et al., 2025, P6)提出一种通过上下文感知补丁细化增强程序修复智能体的方法,旨在解决初始补丁过拟合或不完整的问题。该方法将补丁细化定义为从初始种子补丁到最终正确修复的增量改进过程,通过定义代码上下文并分析其与 Issue 及修复方案的关系,指导 LLM 进行迭代优化。REFINE 引入细化函数 $F(\cdot)$,对初始补丁 $P{init}$ 进行质量与正确性增强,生成更准确的 $P{final}$。其核心创新在于将修复过程分解为生成与细化两个阶段,细化阶段专注于修复初始补丁的缺陷而非重新生成。该方法依赖初始补丁的质量,若初始补丁完全错误则细化效果有限。REFINE 为现有修复工具提供了通用的后处理增强模块,显著提升了补丁的最终通过率,降低了人工审查负担。
2.3 测试生成与维护
测试生成与维护作为独立子域,与修复形成“生成-验证”的共生关系。SWE-Tester(Soni et al., 2026, P16)提出一种训练开源 LLM 进行真实仓库 Issue 复现测试生成的方法,旨在解决 Issue 报告时缺乏复现测试的问题。该方法通过构建专门的训练数据,指导 LLM 根据自然语言 Issue 描述和 Bug 代码库生成能复现 Bug 的测试用例,无需访问修复补丁。SWE-Tester 采用多模型训练策略,在 Qwen、Llama 及 Gemma 等多个开源模型上验证了训练配方的通用性,并通过推理时计算扩展进一步提升性能。其核心创新在于将测试生成任务形式化为从 Issue 到复现测试的映射,并提供了标准化的评估基准 SWT-Bench。该方法依赖训练数据的质量与多样性,且生成测试需通过编译与执行验证。
FlakyGuard(Li et al., 2025, P10)提出一种面向工业规模的 Flaky 测试自动修复系统,旨在解决非确定性测试失败导致的开发效率低下问题。该系统首先复现 Flaky 测试失败,构建动态调用图,并通过 LLM 引导的图遍历收集相关上下文,随后利用提示工程请求 LLM 生成修复方案。FlakyGuard 包含迭代修复循环,若验证失败则重新生成,并引入测试简化与补丁移植技术以应对表驱动测试等复杂场景。其核心创新在于结合动态调用图分析与 LLM 推理,实现了从故障定位到自动修复的端到端自动化。该方法依赖动态调用图的准确性,且对语言特定的 Flaky 模式提示词有要求。COHARDEN(Tan et al., 2026, P27)提出一种迭代硬化共生成 Bug 复现测试与修复的方法,旨在解决复现测试约束力不足导致修复不可靠的问题。该方法通过联合生成测试与修复,并利用变异算子对修复进行扰动,构建时间矩阵评估测试的严格性(Laxity Rate)。若测试过于宽松,则回退并重新生成,确保测试能有效区分正确与错误修复。COHARDEN 的核心创新在于将测试质量评估嵌入生成循环,通过对抗性硬化提升测试的判别能力。其代价是迭代过程增加了计算开销,且依赖变异算子的有效性。
Agentic Testing(Naqvi et al., 2026, P14)提出一种多智能体系统用于鲁棒的软件质量保证,旨在解决传统 LLM 测试生成缺乏结构化反馈与执行驱动适应性的问题。该系统采用强化学习式反馈机制,定义代码覆盖率、失败率及运行时间等性能指标,通过迭代优化测试套件。多智能体协作负责测试生成、执行及结果分析,形成闭环反馈,动态调整测试策略以提升覆盖率与有效性。其核心创新在于将测试过程建模为优化问题,利用执行反馈驱动智能体行为调整。该方法依赖执行环境的稳定性与反馈信号的准确性,且多智能体协调增加了系统复杂度。LLM-Driven Test Oracle Generation(Bodicoat et al., 2026, P15)提出一种利用 LLM 生成测试预言(Oracle)的方法,旨在解决自动测试生成中预言问题(Oracle Problem)导致的故障检测能力有限问题。该方法利用 LLM 的自然语言理解与上下文推理能力,从开发者文档或代码注释中提取预期行为,生成语义丰富的断言,而非仅依赖回归预言。通过在 GHRB 基准上的实验,验证了 LLM 生成预言在检测真实 Bug 中的有效性,特别是针对编译无误但语义错误的场景。其核心创新在于将 LLM 应用于预言生成环节,提升了测试用例的语义深度。该方法依赖文档或注释的完整性,若缺乏相关描述则生成效果受限。
2.4 模糊测试增强
模糊测试增强路线结合了 LLM 语义理解能力与传统模糊测试技术。R1-Fuzz(Lin et al., 2025, P3)提出首个利用强化学习专门化语言模型进行文本模糊测试输入的框架,旨在解决复杂文本目标(如编译器、数据库)输入生成难的问题。R1-Fuzz 通过奖励机制引导 LLM 生成满足复杂语法与语义约束的输入,利用执行反馈(如覆盖率、崩溃)优化模型策略,实现了深层程序逻辑的高效探索。其核心创新在于将模糊测试输入生成建模为强化学习问题,克服了传统基于语法或随机变异方法在深层逻辑上的局限性。该方法依赖执行环境的反馈信号,且训练过程需要大量计算资源。
Hybrid Fuzzing(Lin, 2025, P9)提出一种结合 LLM 引导输入变异与语义反馈的混合模糊测试框架,旨在解决传统模糊测试在语义新颖性探索上的不足。该框架整合静态分析、LLM 引导变异及语义反馈,通过区分语义冗余与新颖执行,优化输入变异策略,避免在已知语义行为上浪费计算周期。其核心创新在于引入语义新颖性阈值,指导 LLM 生成更具探索性的输入,提升了深层语义路径的覆盖率。该方法依赖语义反馈机制的准确性,且 LLM 调用增加了运行延迟。Orion(Bazalii and Fleischer, 2025, P1)提出一种模糊测试工作流自动化框架,旨在解决大规模生产代码库中模糊测试配置与补丁生成的人工依赖问题。Orion 包含多个智能体,分别负责目标识别、配置生成、崩溃分诊及补丁生成,实现了从代码库分析到漏洞修复的端到端自动化。其核心创新在于将模糊测试工作流分解为可自动化的子任务,利用 LLM 智能体执行代码检查、符号查找及补丁验证,降低了人工干预需求。该方法依赖代码库索引与编译器工具链的集成,且补丁生成需通过严格验证。
2.5 跨任务与多领域应用
跨任务与多领域应用展示了 LLM 在软件测试与修复中的广泛适用性。LogicEval(Rashid et al., 2026, P19)构建了一个针对逻辑漏洞自动修复技术的系统性评估框架,旨在解决逻辑漏洞因不触发传统安全防御(如内存 sanitizer)而难以验证的问题。该框架自动生成交互式测试用例以评估补丁的正确性与质量,并定义了专门的指标来衡量修复效果。它支持对非学习、深度学习及 LLM 基三类代表性修复方法进行统一评估,揭示了不同范式在逻辑漏洞修复中的能力与局限。LogicEval 通过端到端的自动化流程,消除了人工评估的主观性与高成本,为逻辑漏洞修复研究提供了标准化的基准。其局限性在于测试用例的自动生成可能无法覆盖所有边缘逻辑分支,且评估过程计算开销较大。
Clover(Luo et al., 2026, P20)提出一种神经符号智能体框架,用于验证 RTL 修复。该框架结合随机树思维(Stochastic Tree-of-Thoughts)与符号验证,解决了硬件描述语言修复中缺乏高效验证 Oracle 的问题。通过在 RTL-repair 基准上的实验,Clover 展示了在结构到算法级别 Bug 修复中的高成功率,证明了 LLM 在跨领域(软件到硬件)应用中的潜力。
3. 关键共识、分歧与开放问题
3.1 领域共识
LLM 在代码理解和生成方面展现出超越传统静态分析工具的能力,但在处理复杂、长依赖关系的仓库级任务时仍面临显著挑战。这一共识在 SWE-bench 等基准上被反复验证:AIR 的 87.1% 与 RepoRepair 的 45.7% 均大幅超越早期方法,但绝对数值仍远低于人类专家水平,表明仓库级修复的复杂性尚未被完全攻克。与此相关的另一个共识是,单纯的监督微调(SFT)容易导致过拟合和语法僵化,结合强化学习(RL)或迭代反馈机制能显著提升修复的语义正确性和泛化能力。BoostAPR 在 Defects4J 上的 24.8% 与 DynaFix 的 22.0% 均优于传统 SFT 方法,证明了动态反馈在提升鲁棒性中的关键作用。故障定位(FL)是自动程序修复成功的关键瓶颈,准确的文件级或行级定位能大幅提高 LLM 的修复成功率。T2L-Agent 在 T2L-ARVO 上的 50.9% 定位准确率,直接支撑了其后续修复的高成功率,验证了“定位决定修复上限”的假设。
3.2 观点分歧
RL 是否优于 SFT 用于 APR 是领域内的核心分歧。观点 A 认为 RL 能利用执行反馈优化策略,提升泛化能力,代表方法如 BoostAPR 和 Vul-R2;观点 B 认为 SFT 简单高效,RL 训练不稳定且成本高,高质量 SFT 数据足以应对。现有证据偏向 RL 在复杂任务和长尾分布上更优,但证据强度中等,因为 RL 实验多在特定基准上进行,缺乏大规模跨领域对比。能定输赢的实验是:在未见过的复杂仓库级 Bug 上,对比 RL 和 SFT 模型的 Resolution Rate 和泛化性。这一分歧的背后,是另一个更根本的争论:RAG 是缓解幻觉的必要手段还是可被高质量微调替代?观点 A 认为 RAG 能引入最新知识和项目特定上下文,是缓解幻觉的关键,代表方法如 RAVEN 和 RepoRepair;观点 B 认为高质量微调模型已具备足够知识,RAG 引入噪声且增加延迟。证据偏向 RAG 在特定领域(如安全漏洞)和大型代码库上更有效,但在通用代码补全上效果不一。能定输赢的实验是:在文档缺失或过时的代码库上,对比 RAG 和纯微调模型的修复成功率。
3.3 其他开放问题
最紧迫的工程问题是成本与效率的权衡。高性能 LLM 推理成本高昂,而小模型效果有限,如何在保证修复质量的前提下,通过模型蒸馏、量化或混合架构降低计算成本,实现工业级部署仍是挑战。关键困难在于小模型在复杂逻辑推理上的能力不足,研究路径包括指令微调本地 LLM、RAG 增强及轻量化模型蒸馏。最根本的研究问题是逻辑漏洞修复缺乏通用模板。逻辑漏洞不像内存错误那样有明确的崩溃信号或修复模式,导致 LLM 难以通过简单的模式匹配生成正确补丁,需依赖深层语义理解。关键困难在于缺乏有效的验证 Oracle,研究路径包括构建基于执行反馈的强化学习闭环、多模态混合框架及对抗性测试生成。已知的是 LLM 在局部代码补全上的能力,争议的是 RL 与 SFT 的相对优劣,未知的是逻辑漏洞的深层语义理解机制。未来发展趋势将指向多模态与跨模态修复,解决纯文本代码无法捕捉 UI、视觉或硬件结构信息的问题,以及长周期与复杂漏洞发现,解决现有基准仅关注短程或简单漏洞的问题。
4. 总结与展望
LLM-based Software Testing and Repair 领域的核心矛盾在于 LLM 的语义生成能力与软件工程的确定性验证需求之间的张力。从 GenProg 的搜索式修复到 SWE-Agent 的智能体工作流,再到 BoostAPR 的强化学习闭环,研究路线不断迭代以应对上下文噪声与反馈稀疏两大瓶颈。当前核心瓶颈在于逻辑漏洞的深层语义理解与多智能体协作中的错误累积,导致端到端修复成功率在复杂任务中显著下降。
未来可能突破的方向包括:强化学习与执行反馈闭环,通过设计执行级动态信息驱动的双奖励模型和基于 PPO 的信用分配机制,解决奖励信号稀疏问题;多智能体协作与对抗性验证,通过引入对抗性测试生成、多视角推理智能体及迭代硬化机制,解决单一 LLM 推理偏差和幻觉问题;长周期与复杂漏洞发现,通过构建包含完整构建环境和验证 Oracle 的基准(如 SEC-bench Pro)及自动化 PoC 生成,解决真实软件环境中触发条件复杂且验证成本高的问题。对于进入者,最值得做的一件事是构建一个统一的、控制骨干网络与预训练数据的评测基准,以公平比较不同方法路线的真实贡献,消除当前评测中的数据泄露与变量混淆问题。
以上为节选,完整内容见ArxivReview