综述原文见 ArxivReview
导读
大语言模型(LLM)优化建模旨在将自然语言描述自动转化为数学规划模型,其核心价值在于消除运筹学专家手工建模的高门槛与耗时瓶颈。早期研究聚焦于线性规划的简单文本到代码转换,思路直接却受制于泛化性差与约束遗漏的固有缺陷。当工业级基准暴露出模型在复杂约束交互下的静默失败后,研究重心从单纯提升生成准确率转向构建包含求解器反馈与形式化验证的可靠闭环。各技术路线在语义保真度、计算效率与部署成本之间做出了不同取舍,由此形成当前多智能体协作、强化学习训练与结构化验证并存的多元方法格局。本综述梳理这条从概率性生成到确定性验证的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
运筹学(Operations Research, OR)长期面临一个结构性矛盾:业务需求以自然语言呈现,而求解器要求严格的数学形式。这一鸿沟使得优化建模成为连接业务与算法的核心瓶颈,也是自动化最具价值的切入点。LLM优化建模的核心任务,正是将非结构化的文本描述映射为包含决策变量、约束和目标函数的数学规划模型。这一过程看似是简单的翻译,实则涉及语义理解、结构分解与逻辑推导的多阶段认知任务。
问题的形式化通常遵循 N-way K-shot 的范式,即给定 K 个自然语言问题描述,模型需生成对应的数学模型。然而,与传统的少样本学习不同,这里的“样本”是高度非标准化的文本,而“标签”是结构严谨的数学公式。这种非对称性导致了两个根本性的子问题:一是语义绑定误差,即模型在将自然语言中的参数、变量绑定到具体数据时出错;二是静默失败,即生成的代码能正常运行且求解器返回可行解,但模型本身存在语义错误,导致解决的是错误的问题。这两个子问题存在强依赖关系:语义绑定是基础,若绑定错误,后续的求解与验证均无意义;而静默失败的检测则依赖于模型结构的规范化,只有当模型具备可解析的结构时,形式化验证才可行。
领域的演进史是一部不断突破约束的历史。2022 年,NL4OPT 基准的提出将问题边界限定在教科书级的简单线性规划,确立了实体识别与逻辑形式转换的早期评估标准。这一阶段的方法主要依赖提示工程,假设 LLM 具备足够的常识推理能力,但很快暴露出在复杂约束下泛化性差的问题。2023 年,Chain-of-Experts (CoE) 和 OptiMUS 等多智能体框架的出现,标志着问题定义从“翻译”演变为“结构化建模”。研究者意识到,单一 LLM 在处理多约束交互时,常因上下文窗口限制而遗漏关键约束,因此通过角色分工(解释、建模、编码)来缓解长程依赖带来的信息丢失。
2024 年至 2025 年,领域迎来范式转变:从单一提示工程转向专用模型微调与求解器反馈闭环。ORLM 和 OptMATH 通过监督微调和数据合成,确立了利用领域数据增强模型表现的基础训练范式。与此同时,基准测试从教科书级问题扩展至工业级规模,如 IndustryOR 和 MIPLIB-NL,引入了真实世界的噪声与冗余信息。这一阶段的核心矛盾从“能否生成”转向“生成是否语义正确”,求解器反馈不仅是训练奖励,更成为验证模型正确性的核心探针。
2026 年,研究重心进一步向验证机制深化。针对 LLM 生成的“静默失败”,涌现出基于图同构、SMT 定理证明、行为敏感性分析等严格的验证框架,如 ORGEval、FLARE 和 ReLoop。问题定义深化为“在缺乏真值标签下的语义等价性验证”及“大规模工业场景的可扩展性”。当前领域处于从“能生成”向“可靠生成”和“高效求解”过渡的关键阶段,强化学习与求解器执行反馈的结合成为提升模型鲁棒性的主流技术路线。
如果用一个核心问题概括该领域,那便是如何在缺乏完美真值标签的开放域中,构建具备语义等价性保证且可被形式化验证的自动化优化建模闭环。
2. 方法体系
2022:NL4OPT——首个将自然语言优化问题转化为线性规划模型的基准数据集
2023:Chain-of-Experts (CoE)——提出多智能体协作框架,开创LLM多步推理解决复杂OR问题的范式
2024:ORLM——通过监督微调在特定优化数据集上训练LLM,确立领域数据增强范式
2025:SolverLLM——引入测试时扩展与蒙特卡洛树搜索策略,展示推理时计算资源分配的关键作用
2025:ORGEval——提出基于图同构测试的模型级评估框架,捕捉优化模型的结构等价性
2026:OptiTree——提出基于树搜索的层次化思维生成方法,缓解复杂问题中级联失败
2026:TriVAL——提出三验证框架,在语义理解、公式化和代码生成阶段引入显式验证机制
这条时间线勾勒了该领域方法演进的代表性节点:从 2022 年的 NL4OPT 奠定该领域方法基线,经 2023 年 Chain-of-Experts (CoE) 的推进,到 2026 年的 TriVAL 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 多智能体协作与结构化推理
早期方法假设 LLM 可通过单次提示完成从自然语言到代码的映射,但这一假设在复杂约束下迅速失效。CoE(Dong et al., 2023)和 OptiMUS 等框架通过引入编排者、解释者、建模者、编码者和评估者等多个角色,将建模任务分解为顺序交互的子任务。这种多智能体协作的核心取舍在于:放弃单次生成的速度,换取通过角色分工缓解上下文丢失与约束遗漏。CoE 在 NL4OPT 上取得了 76.40% 的准确率,显著优于标准提示的 70.30%,证明了结构化推理在提升模型鲁棒性上的有效性。然而,多智能体框架也带来了系统延迟与通信开销的增加,且智能体间的协调机制较为复杂。
随着问题复杂度的提升,研究者开始探索更深层的结构化表示。CIR(Lyu et al., 2026)提出了一种规范化的中间表示方法,引导 LLM 首先识别问题所属的范式类别(如顺序索引或网络流模型),再基于该范式构建具体的模型结构。CIR 的核心创新在于将模糊的自然语言映射到结构化的数学范式,减少了直接生成代码时的幻觉风险。与 CoE 的线性流程不同,CIR 引入了范式敏感的挑战检测机制,强制模型对复杂约束进行更深层次的逻辑推理。这种中间表示的引入,标志着领域从“端到端代码生成”向“模型-then-代码”范式的转变,解耦了语义理解与代码实现,但牺牲了部分通用性,对于非标准或高度定制化的问题适用性受限。
OptiAgent(Monteiro et al., 2026)进一步将多智能体协作推向端到端的全流程自动化,设计了包含六个专门化智能体的框架,通过共享状态累积中间输出与反馈信号。OptiAgent 模拟人类专家的工作流,将复杂的建模任务分解为可管理的子任务,并通过依赖链确保上游输出为下游提供必要信息。与 CoE 相比,OptiAgent 更强调智能体间的迭代修正与状态共享,但在系统复杂度与计算开销上进一步增加。这些多智能体与结构化方法共同构成了当前自动建模的主流架构,为后续引入搜索与进化机制奠定了基础。
2.2 树搜索与经验进化
多智能体框架虽然缓解了上下文丢失,但在处理具有嵌套结构的复杂问题(如车辆路径问题)时,仍面临早期变量定义错误导致的级联失败。OptiTree(Liu et al., 2025)针对这一痛点,提出了一种基于树搜索的层次化思维生成框架。OptiTree 引入“建模子问题”概念,将原始复杂问题自适应分解为具有较低建模复杂度的子问题,并利用树搜索结构探索不同的分解路径。在生成过程中,系统利用子问题的建模思维作为上下文增强,指导父问题的变量、约束和目标函数定义。其核心创新在于将顺序生成转变为层次化搜索,允许模型在遇到复杂约束时回溯并尝试不同的子问题组合。OptiTree 牺牲了部分推理速度以换取对复杂结构问题的更高鲁棒性,在 NL4OPT 上取得了 96.2% 的 SOTA 成绩,证明了分解策略在提升 LLM 建模准确率中的关键作用。
与 OptiTree 的即时搜索不同,AlphaOPT(Kong et al., 2025)关注的是知识的长期积累与复用。AlphaOPT 构建了一个包含可复用洞察与显式适用条件的经验库,通过种群级迭代进化机制提升 LLM 在优化建模中的泛化能力。该方法首先从历史数据中提取建模规则,并为其标注具体的激活条件,形成结构化的经验条目。在推理阶段,系统根据当前问题特征检索并应用这些经验,同时通过反馈机制动态调整经验的适用条件边界。AlphaOPT 的核心改进在于将静态的知识检索转化为动态的经验进化过程,使模型能够学习“何时应用何种规则”的元知识。该方法依赖于高质量的经验库初始化,且进化过程需要大量的计算资源来评估种群性能,但解决了现有提示工程方法缺乏持续学习能力的缺陷。
SolverLLM(Li et al., 2025)则从测试时扩展的角度出发,引入蒙特卡洛树搜索(MCTS)策略,无需额外训练即可通过探索公式化空间提升复杂优化问题的求解准确率。SolverLLM 展示了推理时计算资源分配对建模精度的关键作用,与 OptiTree 的层次化分解形成互补:OptiTree 侧重于问题结构的分解,而 SolverLLM 侧重于解空间的探索。这些搜索与进化方法共同构成了应对复杂约束交互的另一条技术路线,与多智能体协作框架在架构上形成竞争与互补关系。
2.3 策略感知与领域特定语言
随着 LLM 推理能力的提升,研究者开始关注建模策略的显式化与表示层面的灵活性。SAGE(Zhao et al., 2026)提出一个两阶段框架,通过显式建模策略与求解器验证的多策略数据合成,结合监督微调与强化学习来提升 LLM 的优化建模能力。SAGE 的核心改进在于将隐式的建模策略显式化,使模型能够学习如何根据问题特征选择合适的建模范式。第一阶段生成包含问题、建模推理和代码的三元组数据,其中建模推理明确分离了范式选择与公式化实例化两个步骤;第二阶段利用求解器反馈作为奖励信号,通过强化学习优化模型的结构化推理、可执行性与求解效率。SAGE 依赖高质量的合成数据与稳定的求解器反馈,训练过程较为耗时,但在策略感知建模方面取得了突破。
OptiDSL(Zhang et al., 2026)则从表示层面入手,提出一种以领域特定语言(DSL)为中心的灵活优化建模框架,旨在克服将问题强制映射为混合整数规划(MILP)的局限性。OptiDSL 允许 LLM 根据问题特性选择最合适的 DSL 表示,如约束规划或混合整数规划,并通过生成 DSL 数据文件而非直接生成代码来降低建模复杂度。其核心创新在于引入了表示层面的灵活性,使模型能够处理那些不适合单一数学范式的组合优化问题。OptiDSL 牺牲了部分通用性以换取在特定问题域上的高精度与低 Token 消耗,特别适用于制造调度与物流规划等场景。与 SAGE 的策略感知不同,OptiDSL 更侧重于表示范式的选择,两者共同推动了 LLM 优化建模从单一范式向多范式灵活建模的转变。
3. 关键共识、分歧与开放问题
3.1 领域共识
求解器反馈是提升 LLM 优化建模准确性的关键机制,这一共识在多个基准上被反复验证。EVOM 在 MAMO-Complex 上的 88.19% 与 AutoOR 在 IndustryOR 上的 69.05% 均大幅超越 GPT-4o (CoE) 的 64.00% 和 34.00%,证明了执行验证与交互式澄清在减少语法错误和逻辑错误上的有效性(支撑证据:P17、P18)。与此相关的另一个共识是多智能体协作框架比单一提示工程更能处理复杂建模任务。CoE 在 NL4OPT 上的 76.40% 优于标准提示的 70.30%,而 OptiAgent 等后续框架进一步通过角色分工与迭代反思提高了模型的鲁棒性(支撑证据:P6、P24)。然而,这些共识的边界在于,多智能体与求解器反馈在简单基准上收益显著,但在工业级噪声数据上,其效果可能受到问题模糊性的限制,AutoOR 在 IndustryOR 上的领先优势部分源于其交互式澄清机制,而非单纯的多智能体协作。
3.2 观点分歧
语义验证的路线是领域当前的根本分歧之一:是依赖行为敏感性分析(ReLoop)的经验性验证,还是依赖 SMT/定理证明(FLARE)的形式化验证?ReLoop 通过参数扰动测试检测静默失败,无需真值标签,成本低,适合大规模部署;而 FLARE 通过 Lean 形式化语言生成机器可检查的证明证书,提供绝对正确性保证,适合高可靠性场景。现有证据偏向 ReLoop 在工程实用性上,FLARE 在理论严谨性上。ReLoop 在检测遗漏约束上表现良好,但存在检测极限(某些错误不可检测);FLARE 提供了强保证,但仅在 MILP 重构等特定任务上验证,尚未在通用建模中普及(支撑证据:P15、P28)。这一分歧的背后,是另一个更根本的争论:训练范式上,离线 SFT/RL 与测试时扩展(Test-Time Scaling)的权衡。OR-R1 证明在线 RL 有效,在 IndustryOR 上达到 69.05%,优于 ORLM 的 27.00%,但推理延迟显著增加;而 SolverLLM 等测试时扩展方法无需额外训练,适合高价值复杂问题,但缺乏对“何时值得进行测试时扩展”的理论边界分析(支撑证据:P10、P6)。
3.3 其他开放问题
当前领域面临的最紧迫工程问题是大规模工业问题的可扩展性瓶颈。现有基准多为中小规模,LLM 生成的模型在工业级大规模实例上往往求解超时或内存溢出,缺乏针对大规模组合优化的算法设计能力。关键困难在于,单纯建模无法解决工业级超时问题,需结合代理工作流和结构化分解技术,开发能处理长上下文、复杂结构和数据分离的建模框架。最根本的研究问题是静默失败的完备检测理论。现状是,求解器无法区分“正确模型”与“错误但可行模型”,现有验证方法多依赖人工或简单的数值比对,缺乏无需 ground truth 的自动化语义验证机制。研究路径包括基于 SMT 证明和行为敏感性分析的验证范式,以及形式化验证与等价性检测工具的 development。已知的是,行为验证与形式化验证各有优劣;争议的是,哪种验证路线在工业实时场景与高可靠性场景下更具优势;未知的是,静默失败的检测极限与计算开销的理论边界。
4. 总结与展望
LLM 优化建模的演进历程,本质上是应对自然语言模糊性与数学模型严谨性之间鸿沟的持续努力。从早期的提示工程到多智能体协作,再到强化学习与形式化验证,每一次范式转变都是对前一种方法在复杂约束下级联失败的回应。当前领域的核心瓶颈,已从“能否生成”转向“生成是否语义正确”,即如何在缺乏完美真值标签的开放域中,构建具备语义等价性保证且可被形式化验证的自动化优化建模闭环。这一矛盾在工业级大规模问题上尤为突出,现有模型在玩具级基准上表现良好,但在真实工业场景中性能急剧下降。
未来可能突破的方向包括:一是基于形式化方法的端到端可验证建模框架,结合 SMT/定理证明与行为敏感性分析,建立能够证明模型语义等价性的形式化闭环;二是 LLM 驱动的启发式算法生成,不仅用于建模,还用于生成和优化求解算法,以提高求解效率和可扩展性;三是多模态与跨模态建模,开发能处理图像、图表等多源信息的基准和模型,以应对更广泛的实际应用场景。对于进入该领域的研究者,最值得做的一件事是,在统一骨干与统一预训练条件下,系统评测不同验证机制(行为验证 vs 形式化验证)在工业级基准上的检测极限与计算开销,为验证路线的选择提供实证依据。
以上为节选,完整内容见ArxivReview