【网安AIGC专题10.19】论文4:大模型(CODEX 、CodeGen 、INCODER )+自动生成代码评估:改进自动化测试方法、创建测试输入生成器、探索新的评估数据集扩充方法

简介: 【网安AIGC专题10.19】论文4:大模型(CODEX 、CodeGen 、INCODER )+自动生成代码评估:改进自动化测试方法、创建测试输入生成器、探索新的评估数据集扩充方法

写在最前面

本文为邹德清教授的《网络安全专题》课堂笔记系列的文章,本次专题主题为大模型。

李宾逊同学分享 Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation《你由 ChatGPT 生成的代码真的正确吗?严格评估用于代码生成的大型语言模型》

该论文已经被neurips接收

论文:ttps://arxiv.org/pdf/2305.01210.pdf

代码:https://github.com/evalplus/evalplus

主要贡献

动机:🚨 使用“3 个测试用例”在数据集上评估 LLM 生成的代码还不够!🚨

为了解决这个问题,提出了EvalPlus——一个严格的LLM4Code评估框架,它:

✨ 通过添加多达数千个新测试来改进代码基准!(HumanEval的81倍新测试!

✨ 制作一套实用工具来清理,可视化和检查LLM生成的代码和评估结果!

✨ 通过为 14+ 模型开源 LLM 生成的样本来加速 LLM4Code 研究——无需重新运行昂贵的基准测试!

这篇论文的创新点,为之后的论文提供了一些的启发

未来研究的方向:改进自动化测试方法、创建测试输入生成器、探索新的评估数据集扩充方法,以及提高编程基准的精度。

  1. 自动测试输入生成器的使用:帮助增强现有的评估数据集,改进和丰富现有的评估方法
  2. 基于LLM和模拟突变的策略:结合不同策略,创建多样性的测试用例。如通过模拟变异创建测试用例
  3. 扩展流行基准测试:将流行的基准测试进行扩展,以包含更多高质量和自动生成的测试输入,有助于提高评估的细致程度,而不仅仅依赖于人工生成的测试用例。
  4. 改进编程基准:通过自动化测试方法改进编程基准,将有助于更准确地评估代码生成的性能。未来的研究可以继续开发这一方向,提高编程基准的质量和可靠性。

实验设计可尝试:不同温度设置对模型性能的影响,模型在生成多个样本时的表现

有助于深入理解模型的生成行为和性能,以优化模型的使用和应用:

  1. 温度设置对性能的影响:通过尝试四个不同的温度设置(0.2、0.4、0.6、0.8),了解模型在不同温度下的生成表现。
    不同温度可能导致生成样本的多样性和质量有所不同。
  2. 随机采样与贪心解码:通过比较随机采样和零温度的贪心解码,了解不同的生成方法对模型性能的影响
    随机采样通常会生成多个样本,贪心解码只生成一个确定性样本。
  3. Pass@k 和温度
  • 分析模型在不同温度下的 pass@k 表现
  • 确定在给定温度下,模型生成多个样本时的性能
  • 找到在不同温度下实现最佳性能的 pass@k 的取值

评价方向可增加:归纳分析错误最多的几个方面

课堂讨论

目的:解决:原始测试输入不足

首个研究、评估HUMANEVAL数据集不足的论文

主要思路

根据大语言模型的能力,通过提示引导之前没有考虑到的输出

通过类型感知变异,快速生成大量新输出

(没有方法保证、验证函数的输出形式是对的)后面通过添加代码段

LLM样本杀伤力策略

目的:最小化测试数量,确保其他模型合成的所有错误样本 都可以被简化的测试套件检测到

保留更多LLMs模型无法通过的样本

提高效率

2.2测试用例集缩减

最小化子集、减少数据集冗余

分别对策略进行检验效果

这个策略提升的效果最多,并且时间上提升很多

但由于策略的完整性,其他的策略也保留

研究背景

HUMANEVAL数据集错误范例

相关工作

LLM代码生成

由于开放代码库的丰富和提高开发人员效率的需求,LLMs在代码领域得到了广泛应用。包括代码生成/合成、程序修复、代码翻译和代码摘要。知名的LLMs,包括CODEX 、CodeGen 、INCODER 和PolyCoder

存在问题:生成代码是否正确?

LLM的代码基准

HUMANEVAL [11] 是最早和最广泛研究的基于LLM的代码合成的人工编写基准之一,包括164对Python函数签名与文档字符串以及相关的用于正确性检查的测试用例

存在问题:测试数量少,部分测试不正确

自动化测试生成

自动化测试生成是一种广泛使用的方法,通过自动生成的测试来发现软件错误。

黑盒测试:传统的黑盒技术主要可以分为基于生成的和基于变异的两种

白盒测试:分析SUT的源代码来提供更高质量的测试用例。例如,符号执行通过解决符号路径约束来生成针对深层路径的测试,从而突破覆盖率瓶颈。

存在问题:无法为用动态类型语言编写的任意问题生成语义上有意义的输入

本文贡献

研究:首个研究当前编程基准测试中测试不足问题的团队,我们的研究还开辟了一条新的研究方向,即精确、严谨地评估LLM合成代码。

方法:提出了EvalPlus - 一种评估框架,以揭示LLM合成代码的真实正确性。EvalPlus的测试用例生成方法结合了新兴的基于LLM和传统的基于变异的测试输入生成方法。它首先使用基于LLM的策略,以高质量的种子输入引导测试生成器,然后通过类型感知的变异进一步扩展大量的测试输入。

结果:EvalPlus将流行的HUMANEVAL基准测试扩展为HUMANEVAL+,将测试用例规模提高了81倍。通过Test-Suite Reduction,生成HUMANEVAL+ -MINI,将HUMANEVAL+测试压缩了47倍,同时仍然实现了相同水平的测试效果。

我们对19个流行的LLM进行了广泛的评估,惊人地发现新数据集上的pass@k平均比基准HUMANEVAL低13.6-15.3%,这表明测试不足可以大大影响几乎所有最近关于LLM基础代码生成的工作的结果分析。

方法

模型设计

EvalPlus模型图

系统设计

EvalPlus是一个用于自动化测试输入生成的系统,以支持软件测试和验证任务。其主要步骤如下:

  1. 种子初始化:EvalPlus使用ChatGPT生成一组高质量的种子输入,这些种子将在后续的步骤中用于变异。
  2. 类型感知的输入变异:接下来,EvalPlus使用这些种子输入初始化种子池,并用它们来引导生成流程。每次从种子池中随机选择一个输入(种子),然后对它进行变异,生成一个新的输入(突变体)。只有符合程序合约的新输入会被添加到种子池中。
    程序合约:通过添加代码断言(例如,assert n > 0)来确保函数的测试输入是良好形式的。
  3. 测试套件缩减:选择原始测试套件的子集,以减小测试成本,同时仍然确保维持原始测试的有效性。
    这个问题可以形式化为:The problem can then be formalized as:
    reducing the original test-suite T into Tred, such that ∀r ∈ R (∃t ∈ T , t satisfies r =⇒ ∃t′ ∈ Tred, t′ satisfies r)
    将原始测试套件 T 缩减为 Tred 的任务,其中对于测试要求 R 中的每个要求 r,必须满足以下条件:对于 T 中的某个测试用例 t,如果 t 满足 r,那么必须存在 Tred 中的某个测试用例 t’,使得 t’ 也满足 r。

模型评价方向

  1. 代码覆盖率:代码覆盖率衡量每个测试执行的代码元素数量,例如语句或分支。传统的测试套件缩减可以使用广泛使用的分支覆盖作为测试要求。
  2. 突变杀戮(Mutant Killing):突变测试通过应用一组预定义的突变规则(例如,更改“<”和“≤”)来创建许多人工制造的有缺陷程序,每个程序称为突变体,每个突变体包含一个微妙的种子错误。测试套件的有效性可以通过检测和杀死这些突变体来评估。
  3. LLM样本杀伤(LLM sample killing):不同的大型语言模型可能在某些测试用例上表现不佳。因此,除了理论上的测试要求外,还可以通过观察实际的样本杀伤来确定测试要求。这意味着测试用例必须能够检测到不同大型语言模型的错误。

评价分析

本文目标:旨在评估EvalPlus在HUMANEVAL上的有效性

HUMANEVAL数据集

HUMANEVAL是最广泛使用的代码生成数据集之一。原始的HUMANEVAL包含164个由人类编写的编程任务,每个任务提供一个Python函数签名和一个文档字符串作为LLM的输入。基于这些输入,LLMs完成一个解决方案,其功能正确性由少量单元测试用例判断

生成测试数量

HUMANEVAL+、HUMANEVAL±mini测试概览

评价分析指标:无偏版本的pass@k

无偏版本的pass@k(LLM 对于一个问题生成k次,测算其至少能通过一次的概率)

OpenAI 的 HumanEval 论文[11]中提出可以针对每个问题生成 n 个代码 (n>k),然后用下式进行无偏估计:

[11] M. Chen, J. Tworek, H. Jun, Q. Yuan, H. P. d. O. Pinto, J. Kaplan, H. Edwards, Y. Burda, N. Joseph, G. Brockman, et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374, 2021.

评价方法

对于每个模型,执行以下步骤:

  • 对分别四个temperature设置({0.2,0.4,0.6,0.8})下各生成的200个程序样本进行随机采样
  • 对于随机采样,展示了每个k∈{1,10,100}的最佳表现pass@k和其对应的温度(T∗k)
  • 使用零温度进行贪心解码仅合成针对每个任务的一个确定性样本,并将其通过率评估为pass@1⋆。

[38]E. Nijkamp, B. Pang, H. Hayashi, L. Tu, H. Wang, Y. Zhou, S. Savarese, and C. Xiong. Codegen: An open large language model for code with multi-turn program synthesis. In The Eleventh International Conference on Learning Representations, 2023.

评价分析

在所有LLM、模型大小和k值上,使用HUMANEVAL+时,相比于使用基于HUMANEVAL的评估,所有pass@k的结果都持续下降。值得注意的是,所有模型和k值上的pass@k结果平均降低了13.6-15.3%。这种性能下降不仅出现在流行的开源LLM中,如广泛使用的CodeGen [38](降低了18.5%)和新兴的StarCoder [13](降低了14.1%),还出现在最先进的商业ChatGPT(降低了13.4%)和GPT-4(降低了13.8%)

结论:在HUMANEVAL上的评估不足以检测LLM合成的错误代码

Test-suite Reduction effective 测试

测试数量相比于HUMANEVAL+减少了47倍

通过率分布

HUMANEVAL和HUMANEVAL+之间的通过率差距表明,HUMANEVAL+能够检测到HUMANEVAL误识别的问题,无论难度级别如何

HUMANEVAL中的问题并不相等,不仅在问题难度上有差异,而且在生成反例和边界情况以深入测试LLM生成的代码的难度上也有差异。

HUMANEVAL错误最多的几个方面

(i)未处理的边缘情况:5个“ground-truth”无法处理边缘情况的输入(例如,空列表或字符串);

(ii)错误的逻辑:10个“ground-truth”错误地实现了所需的功能;

(iii)性能问题:三个低效的实现导致在合理大小的输入上性能较慢。

逻辑错误示例

总结

  • 介绍了EvalPlus,一个严格的程序合成评估框架,以自动化测试生成为驱动。
  • EvalPlus将基于LLM(使用ChatGPT进行提示)和基于变异的输入生成相结合,以获得多样化的测试输入集,以准确评估LLM生成代码的功能正确性。
  • 创建了HUMANEVAL+,通过增加高质量和自动生成的测试输入来扩展流行的HUMANEVAL基准测试。
  • 通过测试套件缩减,创建了比HUMANEVAL+小47倍的HUMANEVAL±MINI,同时保持几乎相同的测试效果。
  • 在新的基准测试中,广泛评估了各种不同的LLM,并展示了HUMANEVAL+可以识别出LLM生成的大量以前未被检测到的错误代码,证明了它在增强编程基准测试以进行更准确评估方面的有效性。

展望

  • 正在进行的工作包括将更高质量的测试引入更多的代码基准测试中,例如MBPP。
  • 可以继续探索更多和更好的测试生成技术,以不断提高基准测试的质量。
  • 可以研究如何将EvalPlus与更多形式验证工具(如翻译验证)集成,以提供更强的评估结果保证。
  • 核心测试生成技术还可以用于提醒开发人员对接受的LLM生成代码片段进行潜在缺陷的检查,特别是在AI对编程方面的应用中。
目录
相关文章
|
1月前
|
人工智能 自然语言处理 数据处理
AIGC塑造大模型时代的数据标注新生态
AIGC塑造大模型时代的数据标注新生态
20 3
AIGC塑造大模型时代的数据标注新生态
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
2023年度AI盘点 AIGC|AGI|ChatGPT|人工智能大模型
2023年度AI盘点 AIGC|AGI|ChatGPT|人工智能大模型
|
2月前
|
敏捷开发 存储 安全
敏捷方法:什么是软件测试中的敏捷模式?
敏捷方法:什么是软件测试中的敏捷模式?
|
2月前
|
敏捷开发 机器学习/深度学习 人工智能
最实用测试方法——TIA
最实用测试方法——TIA
|
2月前
|
存储 安全 数据安全/隐私保护
中外AIGC大模型的差距、态势与结构
【1月更文挑战第21天】中外AIGC大模型的差距、态势与结构
175 2
中外AIGC大模型的差距、态势与结构
|
9天前
|
SQL 分布式计算 DataWorks
dataworks数据集问题之测试联通性报错如何解决
DataWorks数据集是指在阿里云DataWorks平台内创建、管理的数据集合;本合集将介绍DataWorks数据集的创建和使用方法,以及常见的配置问题和解决方法。
20 2
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
大模型应用实践:AIGC探索之旅(上)
大模型应用实践:AIGC探索之旅(上)
52 2
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
大模型应用实践:AIGC探索之旅(下)
大模型应用实践:AIGC探索之旅(下)
60 0
|
18天前
|
人工智能 搜索推荐
AIGC在学生测试评估中的应用
AIGC在学生测试评估中的应用
28 3
AIGC在学生测试评估中的应用
|
26天前
Stable Diffusion——尝试如何正确的使用【AnimateDiff】生成动图——4种方法测试
Stable Diffusion——尝试如何正确的使用【AnimateDiff】生成动图——4种方法测试
26 0

相关产品

  • 云迁移中心