【网安AIGC专题10.11】论文1:生成式模型GPT\CodeX填充式模型CodeT5\INCODER+大模型自动程序修复(生成整个修复函数、修复代码填充、单行代码生产、生成的修复代码排序和过滤)

简介: 【网安AIGC专题10.11】论文1:生成式模型GPT\CodeX填充式模型CodeT5\INCODER+大模型自动程序修复(生成整个修复函数、修复代码填充、单行代码生产、生成的修复代码排序和过滤)

写在最前面

本文为邹德清教授的《网络安全专题》课堂笔记系列的文章,本次专题主题为大模型。

10.11分享论文1:Automated Program Repair in the Era of Large Pre-trained Language Models

《llm在程序修复中的应用》

马兴宇学长分享论文,深入浅出,简洁明了

写博客记录这篇论文的分享

论文总结

主要是将主流的预训练代码专项的大模型应用到了代码修复领域,包括生成式大模型和填充式大模型

方法上并没有什么创新点,都是比较主流的模型和方法。

实验量比较大,涉及多个预训练模型的不同角度对比,包括代码修复准确率、代码生成结果的熵等等内容、以及与传统的NMT模型例如seq2seq等模型对比。

背景知识介绍

语言模型

类似于输入法,输入前几个字,自动推荐后面可能衔接哪些内容

现在主要的语言模型有单向语言模型和双向语言模型:

1、单向语言模型就是正向预测,即已知前面的文本信息预测下一个字。

按顺序处理输入文本的每个单词或字符,并依赖于先前处理的文本信息来预测下一个单词或字符。这种模型通常用于诸如序列标注、命名实体识别和文本分类等任务。

2、双向语言模型就是可以利用上下文信息来预测。

双向语言模型

双向语言模型适合做语言理解,不适合做生成任务。

双向语言模型有很多,最主流的双向语言模型BERT,后续的类似模型几乎都是基于该结构上调整,只是预训练目标不同

BERT也是最主流的掩码语言模型或自编码语言模型,主要基于Transformer的Encoder模块实现

单向语言模型

目前比较主流的大模型都是基于单向语言模型,也就是Transformer的Decoder模块

因为单向语言模型更适合生成任务,而现在主流的大模型例如ChatGPT、LLAMa所执行的所有任务均可以被归类为生成任务。

基于Encoder和Decoder架构的预训练模型由于参数量和推理速度原因也很少被选择作为基座模型。

自动程序修复(APR)

技术

自动程序修复(APR):旨在帮助开发人员发现和修复程序中存在的漏洞,目前广泛使用的自动程序修复技术主要是基于专家手工指定的模板和基于学习方式的程序修复。

1)基于模板修复方式:比较依赖于专家手工制定的模板,而模板获取通常较难,且难以准确的设计。

2)基于学习的方式则需要依赖于大量的标注数据集,标注数据集的获取成本很高,也会对效果带来一定的影响。

发展

1、传统基于专家手工指定模板和规则

2、借鉴NMT方法,基于可学习的神经网络,训练修复模型,如Seq2Seq、Transformer等

3、基于预训练大模型,做有监督微调或者不训练模型直接做zero-shot、few-shot等任务,如代码专项模型:starcoder、codex、codeBert等

论文

概述

该论文将APR技术与LLMs进行结合,进行了广泛的研究,LLMs由于在海量数据上进行了训练,因此具备大量的知识,可以用来做zero-shot以及few-shot等工作,从而不需要训练就可以具备代码漏洞检测与修复功能,大大提升了代码修复与检测技术的效率。

论文选择了9个最新的LLMs,包括生成模型和填充模型,大小从125M到20B不等。设计了3种不同的修复方式来评估使用LLMs生成补丁的不同方式

1)生成整个修复函数:输入是一个有bug的函数,输出是修复后的函数

2)根据前缀和后缀填充代码块:也就是前面提到的预测mask位置的输出

3)输出单行修复

模型选择

生成式模型

GPT-Neo、GPT-J,GPT-NeoX、CodeX

填充式模型

CodeT5、INCODER、CodeX

方法

生成整个修复函数

生成整个修复函数就是将有bug的函数直接输入给模型,然后模型输出修复后的数据,但是由于预训练模型的预训练数据里没有APR数据,所有直接给喂数据,效果可能不好,所以作者又构建了前缀模板来做in-context learning,这里作者用的是one-shot

修复代码填充

作者参考掩码语言模型思路,将错误代码行视为mask然后使用掩码语言模型对mask位置进行预测,得到正确代码输出,掩码语言模型可以利用双向的上下文信息

单行代码生产

单行代码生成就是只生成错误地方的那一行代码

作者这里即用了:

1、上下文去预测掩码位置的输出

2、基于生成式的模型去生成单行,生成单行后就停止生成,然后拼接上后缀代码

生成的修复代码排序和过滤

作者利用

1、预训练模型中默认的核采样参数,来生成多个修复后的代码

2、再利用熵来对生成的代码进行排序,熵可以代表生成代码的natural,作者选用熵低的,也就是生成的代码越符合人类思维。

3、最后再过滤掉编译失败的和语法错误的等数据

实验

实验数据集

实验结果对比

实验量比较大,涉及多个预训练模型的不同角度对比,包括:

1、代码修复准确率

2、代码生成结果的熵等等内容

3、以及与传统的NMT模型例如seq2seq等模型对比

这里没有一一展示实验结果。

目录
相关文章
|
人工智能 自然语言处理 IDE
模型微调不再被代码难住!PAI和Qwen3-Coder加速AI开发新体验
通义千问 AI 编程大模型 Qwen3-Coder 正式开源,阿里云人工智能平台 PAI 支持云上一键部署 Qwen3-Coder 模型,并可在交互式建模环境中使用 Qwen3-Coder 模型。
1805 109
|
自然语言处理 IDE 开发工具
通义灵码新增 Inline Chat 能力,代码行内随时问答,沉浸式编码,心流不断
通义灵码行间会话(Inline Chat)支持开发者在代码编辑器区域进行对话,开发者可以通过自然语言对话的方式进行单个文件内的代码修改或进行即时提问。
1172 149
|
机器学习/深度学习 自然语言处理 安全
ACL 2025 | GALLa:用图结构增强代码大模型,让代码理解更精准!
通过级联多模态架构将代码结构图对齐到大模型表征中
1153 69
|
人工智能 安全 开发工具
C3仓库AI代码门禁通用实践:基于Qwen3-Coder+RAG的代码评审
本文介绍基于Qwen3-Coder、RAG与Iflow在C3级代码仓库落地LLM代码评审的实践,实现AI辅助人工评审。通过CI流水线自动触发,结合私域知识库与生产代码同仓管理,已成功拦截数十次高危缺陷,显著提升评审效率与质量,具备向各类代码门禁平台复用推广的价值。(239字)
2089 24
|
人工智能 IDE 开发工具
CodeGPT AI代码狂潮来袭!个人完全免费使用谷歌Gemini大模型 超越DeepSeek几乎是地表最强
CodeGPT是一款基于AI的编程辅助插件,支持代码生成、优化、错误分析和单元测试,兼容多种大模型如Gemini 2.0和Qwen2.5 Coder。免费开放,适配PyCharm等IDE,助力开发者提升效率,新手友好,老手提效利器。(238字)
CodeGPT AI代码狂潮来袭!个人完全免费使用谷歌Gemini大模型 超越DeepSeek几乎是地表最强
|
人工智能 安全 开发工具
不只是写代码:Qwen Code 如何规划、执行并验证软件工程任务
本文以阿里推出的 CLI 工具 Qwen Code 为例,深入剖析其如何通过精细化的 Prompt 设计(角色定义、核心规范、任务管理、工作流控制),赋予大模型自主规划、编码、测试与验证的能力。
|
算法 安全 定位技术
基于改进拥挤距离的多模态多目标优化差分进化(MMODE-ICD)求解无人机三维路径规划研究(Matlab代码实现)
基于改进拥挤距离的多模态多目标优化差分进化(MMODE-ICD)求解无人机三维路径规划研究(Matlab代码实现)
442 2
|
数据采集 人工智能 自然语言处理
让AI读懂代码需求:模块化大模型微调助力高效代码理解与迁移
本文介绍了一种解决开源项目代码升级中“用户需求关联相应代码”难题的创新方法。面对传统Code RAG和Code Agent在召回率、准确率和稳定性上的不足,以及领域“黑话”和代码风格差异带来的挑战,作者团队提出并实践了一套以大模型微调(SFT)为核心的解决方案。
1764 21
|
机器学习/深度学习 人工智能 编解码
AI-Compass LLM合集-多模态模块:30+前沿大模型技术生态,涵盖GPT-4V、Gemini Vision等国际领先与通义千问VL等国产优秀模型
AI-Compass LLM合集-多模态模块:30+前沿大模型技术生态,涵盖GPT-4V、Gemini Vision等国际领先与通义千问VL等国产优秀模型
AI-Compass LLM合集-多模态模块:30+前沿大模型技术生态,涵盖GPT-4V、Gemini Vision等国际领先与通义千问VL等国产优秀模型

热门文章

最新文章