一文让你了解AI产品的测试 评价人工智能算法模型的几个重要指标

如何测试人工智能产品越来越受到广大测试工程师的关注，由于人工智能的测试预言（Test Oracle）不是像普通软件产品那么明确，到目前为止，基于大数据的第四代人工智能产品的测试，主要集中在“对大数据测试”“白盒测试”“基于样本分析算法的优劣”以及“对最终产品的验收测试”。“对大数据测试”主要针对数据阶段验证、对数据计算验证和对输出阶段验证；“白盒测试”主要考虑神经元覆盖（Neuron Coverage）、阈值覆盖率（Threshold Coverage）、符号变更率（Sign Change Coverage）、值变更覆盖率（Value Change Coverage）、符号-符号覆盖率（Sign-SignCoverage）和层覆盖（LayerCoverage）这六个指标；“对最终产品的验收测试”可以采用对传统软件验收测试的方法，基于业务来进行测试，比如对于人脸识别系统，是否可以在各个人脸角度变化，光线等条件下正确识别人脸。本文重点讨论的是“基于样本分析算法的优劣”。

几个基本概念

大家都知道，人工智能通过训练样本来对系统通过深度学习的算法来进行训练，然后通过测试样本来对训练样本进行测试。“基于样本分析算法的优劣”中的样本仅对于测试样本而言。在这里样本的取样结果质量有几个关键的指标：正确率、精确度、召回率和F1分数。在介绍这些指标之前，我们先来看一下下面四个概念：

• T（True）：真样本；
  
• F（False）：假样本；
  
• P（Positive）：判断为真；
  
• N（Negative）：判断为假。
  

由此，我们又可以推断出如下四个概念：

• TP True Positive：正确的判断为真（有病判断为有病，又称真阳性）
  
• FN False Negative：错误的判断为假（有病判断为没病，又称假阴性，属于漏诊）
  
• FP False Positive：错误的判断为真（没病判断为有病，又称假阳性，属于误诊）
  
• TN True Negative：正确的判断为假（没病判断为没病，又称真阴性）

由此得到下面一个表：

精确度、召回率、准确性、FnScore

这个表，成为混淆矩阵。下面把这张表再进行加工。

通过这张表，我们得到了所有的指标，在这些指标中，以下2个是特别有用的：

• 精确度（PPV）=TP/(TP+FP)：真阳性在判断为真的比例数。是衡量所有判断为真的样例的质量；
  
• 召回率（TPR）= TP/(TP+FN)：在所有的真样本中有多少被找出。
  

另外还有2项是此重要的，其中1项没有在上表中体现：

• 特异度（Specificity）= TN/(FP+FN)：即真阴率，实际的假样本被正确地找出；
  
• 准确性=(TP + TN) / (TP + FP + TN + FN)：所有的查出的真阳与真阴数所占所有样本的比率。

为了让大家更不好的理解这些指标，我们来看一个案例。某电子商务网站，根据Linda的历史购物框推选了15个商品，其中12个是推荐正确的，3个是推荐错误的，这个系统中有50个商品，其中符合推荐给Linda的应该为20个，其他30个为不符合的。下面让我们来看一下上面谈到的各个指标:

• 精确度（Precision）=12/15=80%;
  
• 召回率（Recall）=12/20=60%;
  
• 特异度（Specificity）=(30-(15-12))/30=27/30=90%;
  
• 准确性=(12+ Specificity)/50=(12+27)/50=78%。

那么是不是精确度或者召回率越高越好呢，那可不一定，要视具体的产品而定。比如新冠病毒的检测软件，我们宁可降低精确度，也要保证召回率，不放过一个病例。这种情况即所谓的“宁错杀一百，不放过一个”的策略。比如：样本中有50真样本，50假样本，判断得到95个，其中50个为真，45个为假。这样精度50/95=53%，召回率=50/50=100%，由此可见这种算法精确度并不高，只有53%，而召回率达到了100%。另外一种情况，是可以牺牲召回率，而保证精确度，比如精准扶贫，对于每一个扶贫农夫开销是很大的，所以不允许存在把钱花在假贫困户上。比如：同样样本中有50真样本，判断得到15个，其中15个为真，其中0个为假。这样精度15/15=100%，召回率=15/50=30%，由此可见这种算法精确度很高高，达到100%，而召回率不高，仅为30%。

一般而言精确度和召回率应该是负相关的，如果两个值都低说明算法有了问题了，这里提出了F0.5分数、F1分数、F2分数、F3分数等指标。用的最多的是F1分数。

Fn分数（F1Score）=(1+n²)×精度×召回率×2 / (n²×精确度+召回率)

所以：

• F0.5分数（F0.5Score）=1.25×精度×召回率/ (0.25×精度+召回率)；
  
• F1分数（F1 Score）=2×精度×召回率/ (1×精度+召回率)；
  
• F2分数（F1 Score）=5×精度×召回率/ (4×精度+召回率)。
  

这样在上面的商品推荐案例中：

• F0.5 Score=1.25×80%×60%/（0.25×80%+60%）=0.6/0.8=75%；
  
• F1 Score=2×80%×60%/（1×80%+60%）=0.96/1.4=68%；
  
• F2 Score=5×80%×60%/（4×80%+60%）=2.4/3.8=63%。

一般而言，如果Fn分数低于60%算法就有问题了，如果低于50%，就存在严重事故了。由此可见n值越大，要求越严格。

        接下来介绍几个更高级的度量图

ROC 曲线（ReceiverOperating Characteristic curve）

ROC曲线为接受者操作特性曲线是指在特定刺激条件下，以被试在不同判断标准下所得的假阳率为横坐标，真阳率为纵坐标，画得的各点的连线。

AUC（Area Under the Curve）为ROC下面的面积。

P-R（Recall-Precision）曲线

横坐标为，纵坐标为召回率，纵坐标为精确度。

如何选择ROC和P-R曲线

• 在很多实际问题中，正负样本数量往往很不均衡。比如，计算广告领域经常涉及转化率模型，正样本的数量往往是负样本数量的1/1000，甚至1/10000。若选择不同的测试集，P-R曲线的变化就会非常大，而ROC曲线则能够更加稳定地反映模型本身的好坏。所以，ROC曲线的适用场景更多，被广泛用于排序、推荐、广告等领域。

• 但需要注意的是，选择P-R曲线还是ROC曲线是因实际问题而异的，如果研究者希望更多地看到模型在特定数据集上的表现，P-R曲线则能够更直观地反映其性能。

• PR曲线比ROC曲线更加关注正样本，而ROC则兼顾了两者。

• AUC越大，反映出正样本的预测结果更加靠前（推荐的样本更能符合用户的喜好）。

• 当正负样本比例失调时，比如正样本1个，负样本100个，则ROC曲线变化不大，此时用PR曲线更加能反映出分类器性能的好坏。这个时候指的是两个分类器，因为只有一个正样本，所以在画auc的时候变化可能不太大；但是在画PR曲线的时候，因为要召回这一个正样本，看哪个分类器同时召回了更少的负样本，差的分类器就会召回更多的负样本，这样precision必然大幅下降，这样分类器性能对比就出来了。

Kappa系数

K=(P₀-P_e)/(1-P_e)

P₀是每一类正确分类的样本数量之和除以总样本数，也就是总体分类精度

假设每一类的真实样本个数分别为a₁,a₂,...,a_C，而预测出来的每一类的样本个数分别为b₁,b₂,...,b_C，总样本个数为n，则有Pe=( a₁×b₁+a₂×b₂+…+a_C×b_C)/(n×n)

让我们来看一个例子，比如有如下混淆矩阵：

• 所有案例数：239+21+16+16+73+4+6+9+28=664；
  
• 判断为A的案例数：239+16+6=261；
  
• 判断为B的案例数：21+73+9=103；
  
• 判断为C的案例数：16+4+280=300；
  
• A的案例数：239+21+16=276；
  
• B的案例数：16+73+4=93；
  
• C的案例数：6+9+280=295。

这样：

• P₀=(239+73+280)/664=0.8916；
  
• P_e=(261×276+103×93+300×295)/(64×64)=0.3883；
  
• K=(0.8916-0.3883)/(1-0.3883)=0.8228。

通过K的值，可以判定模型的好坏：

• 0.0~0.20：极低的一致性(slight)；
  
• 0.21~0.40：一般的一致性(fair)；
  
• 0.41~0.60：中等的一致性(moderate)；
  
• 0.61~0.80：高度的一致性(substantial)；
  
• 0.81~1：几乎完全一致(almostperfect)。

顾老师的课程

软件安全测试

https://study.163.com/course/courseMain.htm?courseId=1209779852&share=2&shareId=480000002205486

接口自动化测试

https://study.163.com/course/courseMain.htm?courseId=1209794815&share=2&shareId=480000002205486

DevOps 和Jenkins之DevOps

https://study.163.com/course/courseMain.htm?courseId=1209817844&share=2&shareId=480000002205486

DevOps与Jenkins 2.0之Jenkins

https://study.163.com/course/courseMain.htm?courseId=1209819843&share=2&shareId=480000002205486

Selenium自动化测试

https://study.163.com/course/courseMain.htm?

courseId=1209835807&share=2&shareId=480000002205486

性能测试第1季:性能测试基础知识

https://study.163.com/course/courseMain.htm?courseId=1209852815&share=2&shareId=480000002205486

性能测试第2季:LoadRunner12使用

https://study.163.com/course/courseMain.htm?courseId=1209980013&share=2&shareId=480000002205486

性能测试第3季:JMeter工具使用

https://study.163.com/course/courseMain.htm?courseId=1209903814&share=2&shareId=480000002205486

性能测试第4季:监控与调优

https://study.163.com/course/courseMain.htm?courseId=1209959801&share=2&shareId=480000002205486

Django入门

https://study.163.com/course/courseMain.htm?courseId=1210020806&share=2&shareId=480000002205486

啄木鸟顾老师漫谈软件测试

https://study.163.com/course/courseMain.htm?courseId=1209958326&share=2&shareId=480000002205486