1. TP(True Postive)、TN(True Negative)、FP(False Negative)、 FN(False Negative)
举个医生看病的例子:
假设患病为阳性(Positive),健康为阴性(Negative)
当医生正确地将患病病人确诊为有病,那么就是TP;当医生正确地将康复病人确诊为没病,那么就是TN;
当医生错误地将健康病人确诊为有病,那么就是FP;当医生错误地将患病病人确诊为没病,那么就是FN;
2. 准确率(Precision)的公式
Precision =TP/(TP+FP)
可以理解为医生预测对的阳性(患病)数占医生预测阳性(患病)总量的比率。
但是该指标有局限性,因为没有用到真正的阳性总数,所以就有了召回率。
3. 召回率(Recall)的公式
Recall = TP/(TP+FN)
可以理解为医生预测对的阳性(患病)数占真正的阳性(患病)数的比率。
但是该指标同样也存在局限性,尤其当阴阳样本失衡——阳性样本数接近于总样本数时,所以就有了 F 值。
4. F 值的公式
F=2rp/(p+r)
p 即 Precision, r 即 Recall,所以 F 值又被称为准确率和召回率的调和值。
单一的准确率高和召回率高并不能说明问题,所以才有了F值的衡量指标。
5. ROC 空间的含义
ROC空间将伪阳性率(FPR)定义为 X 轴,真阳性率(TPR)定义为 Y 轴。这两个值由上面四个值计算得到,公式如下:
TPR:在所有实际为阳性的样本中,被正确地判断为阳性之比率。
TPR=TP/(TP+FN) 【与召回率公式相同】
FPR:在所有实际为阴性的样本中,被错误地判断为阳性之比率。
FPR=FP/(FP+TN)
放在医生看病的例子上来理解上述两个指标:
那么尽量把有病的揪出来是主要任务,也就是第一个指标TPR,要越高越好;
而把没病的样本误诊为有病的,也就是第二个指标FPR,要越低越好;
反映在图上就是在相同的 FPR 的条件下,TPR越高越好,ROC 曲线下方覆盖的面积越大越好。