学习笔记：机器学习经典算法-分类算法模型的评价指标-阿里云开发者社区

1、分类准确度（accuracy）

分类准确率(ACC，accuracy )：该指标描述了统计测试集的模型预测结果与真实标签的一致度,是一般情况下在 无倾斜样本总体 的分类评价中最常用的指标，准确率越高，意味着分类模型效果越好。
$$ACC = \frac {TN+TP}{TN+FP+FN+TP}$$
np.sum( Y_predict ==Test_Y)/len(Test_y)

缺点： 分类准确度评估指标 很大程度上依赖样本集的标签分布，对例如样本集中存在 99.9% 的负 (0) 和 0.1% 正 (1) 样本分布，即使算法模型将所有样本都预测为负 (0) 样本，也有样本的分类准确率也能达到 99.9% 。这样即使分类准确率很高，但该模型却几乎没有识别 正例样本的 的能力。所以对于 极度偏斜的数据总体(Skewed Data)，总体中存在发生概率极低的事件(如A事件小于 5%，B事件大于95%)，从总体采样用于训练测试的原始数据，使用 分类准确度(accuracy ) 来评估模型准确度的话，哪怕分类模型将所有小概率事件A判断为B，模型的准确度也能达到 95%，意味着训练的分类模型并未对待解决的问题起任何作用，同基于事件的发生概率进行随机预测的结果一样，

2、基于【混淆矩阵 Confusion Matrix】提出的优化评估方法

混淆矩阵 用以总结分类问题的预测结果。使用计数的方式统计正确和错误预测的样例结果数量，按分类类别进行细分记录在混淆矩阵里面，用以比较分类结果和实际测得值。

基于混淆矩阵提出的优化分类评估指标

① 精准率
$$precision = \frac {TP}{TP+FP}$$

精准率 的表达式描述了预测为正例的样本中正确预测的情况。
其主要意义：通常在现实 有偏数据(Skewed Data) 中，自然发生概率极低的事件往往才是关注对象。比如医疗中的疾病患者对象，使用阳性(Positive)标记疾病状态（对应混淆矩阵中的 "1"）。所以 精准率 主要用来反映模型对研究关注的事件的预测准确度。

② 召回率
$$recall= \frac {TP}{TP+FN}$$
召回率 的表达式描述了真实发生的正例事件中，被模型正确预测的情况，也即模型预测中覆盖面的度量。

精准率和召回率的应用场景：
在模型评估中，使用 召回率或 精准率 作为具体的评价指标需要依应用场景而定。

对更侧重于 未来事件的风险判断 应用中(像股票预测，就会更侧重于模型生成的待买入股票的涨跌预测效果，而不是是这些股票过去的涨跌预测效果)，从而使用精准率 作为评价指标。

在医疗领域应用中，通常需要避免犯 FN 的错误，即如果算法没有成功识别阳性患者，就会拖延患者病情延误治疗，而对于模型的　FP 错误造成的影响则没那么严重，因为假阳性的患者通过进一步检查是可以被识别出来的，这样一定程度上能够帮助节省人力资源将所有阳性患者都筛选出来，从而需要使用 召回率 作为主要的评价指标。

2.1.1 混淆矩阵和精准率/召回率的python 实现

import numpy as np
from sklearn import datasets

### 创建二分类预测数据集
digits = datasets.load_digits()
x = digits.data
y = digits.target.copy()
y[digits.target == 9] = 1
y[digits.target != 9] = 0
from sklearn.model_selection import train_test_split
Train_X,Test_X,Train_Y,Test_Y = train_test_split(x,y,random_state=666)

### 应用逻辑回归进行数据二分类
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1000)
log_reg.fit(Train_X,Train_Y)
Test_y_predict = log_reg.predict(Test_X)

### 自实现混淆矩阵
def TN(Y_T,Y_P):
    assert len(Y_T) == len(Y_P)
    return np.sum((Y_T == 0) & (Y_P == 0))
def FP(Y_T,Y_P):
    assert len(Y_T) == len(Y_P)
    return np.sum((Y_T == 0) & (Y_P == 1))
def FN(Y_T,Y_P):
    assert len(Y_T) == len(Y_P)
    return np.sum((Y_T == 1) & (Y_P == 0))
def TP(Y_T,Y_P):
    assert len(Y_T) == len(Y_P)
    return np.sum((Y_T == 1) & (Y_P == 1))
def confusion_matrix(Y_T,Y_P):
    return np.array([
        [TN(Y_T,Y_P),FP(Y_T,Y_P)],
        [FN(Y_T,Y_P),TP(Y_T,Y_P)] 
    ])
confusion_matrix(Test_Y,Test_y_predict)

### 计算精准率和召回率
def precision_score(Y_T,Y_P):
    try:
        return TP(Y_T,Y_P) / (TP(Y_T,Y_P) + FP(Y_T,Y_P))
    except:
        return 0.0
precision_score(Test_Y,Test_y_predict)
def recall_score(Y_T,Y_P):
    try:
        return TP(Y_T,Y_P) / (TP(Y_T,Y_P) + FN(Y_T,Y_P))
    except:
        return 0.0
recall_score(Test_Y,Test_y_predict)

2.1.2 scikit-learn中的混淆矩阵，精准率和召回率

from sklearn.metrics import confusion_matrix  ### 混淆矩阵
confusion_matrix(Test_Y,Test_y_predict)
from sklearn.metrics import precision_score   ### 精准率
precision_score(Test_Y,Test_y_predict)
from sklearn.metrics import recall_score      ### 召回率
recall_score(Test_Y,Test_y_predict)

2.2 F1 Score

F1 Score 是精准率（precision）和召回率（recall）的 调和平均值：
$$ \frac {1}{F1} = \frac {1}{2}(\frac {1}{precision} + \frac {1}{recall}) \rightarrow F1 = \frac {2\cdot precision\cdot recall}{precision + recall}$$

调和平均值的意义：
如果要综合两个评价指标为一个，最简单的处理方式即取连个指标值的 算数平均值，$indic = \frac {1}{2}( precision + recall)$ ；但是当这两个指标值出现一个值极高，一个值极低的极端分布情况下，就会有综合指标值也会是一个相对较高的结果，对于评价的代表性来说，就会错误度量了模型的效果。使用 调和平均值 的情况下，如果两个指标值极端不平衡，得到的 F1 score 就会非常低，只有两个指标值都非常高时 F1 score 才会非常高，从而使用调和平均值能够较好地综合了精准率和召回率两种评价指标的结果来度量模型效果。F1 score 适用于需要精准率和召回率都是越大越好的评价环境中。

sklearn 下的 F1 score

from sklearn.metrics import f1_score
f1_score(Test_Y,Test_y_predict)

3、 Precision-Recall 的矛盾和平衡

在应用二分类模型进行数据分类时，分类的标准依据的是分类器计算的样本得分；如果要求模型的 精准率 更高，只能通过
收窄正例的识别域，也即提高判断为 1 的概率值阈值(如从 50% 提高到 90% 作为识别正例的标准)，就会导致更多的低概率值的正例样本变成 FN ，召回率指标变小。同理，要想召回率指标变大，就会产生更多的 FP 结果，精准率 变小。所以 Precision 和 Recall 两者是一对矛盾负相关的指标，两者不可能同时变大或变小。

3.1 Precision-Recall Curve (PR 曲线)

根据 Precision-Recall Curve 曲线，可以简单判断当精准率和召回率取值都相对较高的平衡点下对应的分类决策值阈值。

### 应用逻辑回归进行数据预测
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1000)
log_reg.fit(Train_X,Train_Y)
decision_score = log_reg.decision_function(Test_X)  ### 获取决策分数的预测值

### draw PR curve 
from sklearn.metrics import precision_recall_curve
precision,recall,threshold = precision_recall_curve(Test_Y,decision_score)
import matplotlib.pyplot as plt
plt.plot(threshold,precision[:-1])
plt.plot(threshold,recall[:-1])
plt.show()

3.2 ROC曲线

ROC曲线(receiver operating characteristic curve) 用以描述 TPR 和 FPR 之间的关系；
$$TPR= \frac {TP}{TP+FN} \ \ ,\ \ \ \ \ FPR= \frac {FP}{TN+FP}$$
TPR 描述的是正例被正确预测的覆盖率，本质为 召回率recall ;
FPR 描述的是负例样本中被错误预测的覆盖率，也即模型犯 FP 错误的概率；

同 Precision-Recall两指标的矛盾不同，当选取不同的分类决策值时， TPR 和 FPR 两个指标具正相关的一致变化趋势；要使得正例的预测覆盖率(recall)增大，只能降低判断为正例的决策分数，那么此时就会引起许多负例被错误识别为正例，从而 TPR 和 FPR 两个指标呈现正相关变化。

3.2.2 scikit-learn 下绘制ROC曲线

### 应用逻辑回归进行数据预测
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1000)
log_reg.fit(Train_X,Train_Y)
decision_score = log_reg.decision_function(Test_X)

### draw PR curve 
from sklearn.metrics import roc_curve
fprs,tprs,threshold = roc_curve(Test_Y,decision_score)
import matplotlib.pyplot as plt
plt.plot(fprs,tprs)
plt.show()

3.2.3 scikit-learn 计算ROC曲线下面积(ROC_AUC_score)

对于使用 ROC曲线 进行分类效果评价时，通常使用 曲线下面积(auc,area under curve) 来度量不同超参数下训练的模型或不同算法的分类模型的分类效果。即如果有分类模型犯FP 错误越少(FPR 值越低)的时候有 TPR (正例覆盖率) 越大，就会将左侧部分的曲线整体拉高，从而使得曲线下面积变大，意味着模型能够在犯更少FP错误的情况下准确预测正例，模型分类效果越好。ROC曲线下面积这一评估指标对 有偏数据总体 的分类效果评估相比 精准率和召回率 敏感度还要弱，适用面更广。

### 应用逻辑回归进行数据预测
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1000)
log_reg.fit(Train_X,Train_Y)
decision_score = log_reg.decision_function(Test_X)

### draw PR curve 
from sklearn.metrics import roc_auc_score
roc_auc_score(Test_Y,decision_score)

4、多分类问题的混淆矩阵

多分类问题混淆矩阵与二分类混淆矩阵的原理一致，行方向依旧是样本的真实的分类排律，列方向则是预测结果:

4.2 混淆矩阵的可视化

混淆矩阵对角线的值是预测与真值一致的结果；通过统计每个类别样本中，分类错误的分布情况，从混淆矩阵可视化能更加直观简单地了解错误的分布。

4.3 scikit-learn 的多分类混淆矩阵与二分类混淆矩阵一致

### 创建二分类预测数据集
digits = datasets.load_digits()
x = digits.data
y = digits.target.copy()
from sklearn.model_selection import train_test_split
Train_X,Test_X,Train_Y,Test_Y = train_test_split(x,y,random_state=666)

### 应用逻辑回归进行数据预测
from sklearn.linear_model import LogisticRegression
log_reg = LogisticRegression(solver='lbfgs', max_iter=1e5)
log_reg.fit(Train_X,Train_Y)
Test_y_predict = log_reg.predict(Test_X)

### Multi-Class classification Confusion Matrix
from sklearn.metrics import confusion_matrix
confusion_matrix(Test_Y,Test_y_predict)

4.2 scikit-learn 的多分类问题的评价指标与二分类问题一致

from sklearn.metrics import precision_score   ### 多分类问题的精准率
precision_score(Test_Y,Test_y_predict,average= "micro")

学习笔记：机器学习经典算法-分类算法模型的评价指标

1、分类准确度（accuracy）

2、基于【混淆矩阵 Confusion Matrix】提出的优化评估方法

基于混淆矩阵提出的优化分类评估指标

2.1.1 混淆矩阵和精准率/召回率的python 实现

2.1.2 scikit-learn中的混淆矩阵，精准率和召回率

2.2 F1 Score

3、 Precision-Recall 的矛盾和平衡

3.1 Precision-Recall Curve (PR 曲线)

3.2 ROC曲线

3.2.2 scikit-learn 下绘制ROC曲线

3.2.3 scikit-learn 计算ROC曲线下面积(ROC_AUC_score)

4、多分类问题的混淆矩阵

4.2 混淆矩阵的可视化

4.3 scikit-learn 的多分类混淆矩阵与二分类混淆矩阵一致

4.2 scikit-learn 的多分类问题的评价指标与二分类问题一致

热门文章

最新文章

相关课程

相关电子书

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

学习笔记： 机器学习经典算法-分类算法模型的评价指标

1、分类准确度（accuracy）

2、基于【混淆矩阵 Confusion Matrix】 提出的优化评估方法

基于 混淆矩阵 提出的优化分类评估指标

2.1.1 混淆矩阵和 精准率/召回率 的python 实现

2.1.2 scikit-learn中的混淆矩阵，精准率和召回率

2.2 F1 Score

3、 Precision-Recall 的矛盾和平衡

3.1 Precision-Recall Curve (PR 曲线)

3.2 ROC曲线

3.2.2 scikit-learn 下绘制ROC曲线

3.2.3 scikit-learn 计算ROC曲线下面积(ROC_AUC_score)

4、多分类问题的混淆矩阵

4.2 混淆矩阵的可视化

4.3 scikit-learn 的多分类混淆矩阵与二分类混淆矩阵一致

4.2 scikit-learn 的多分类问题的评价指标与二分类问题一致

热门文章

最新文章

相关课程

相关电子书

学习笔记：机器学习经典算法-分类算法模型的评价指标

2、基于【混淆矩阵 Confusion Matrix】提出的优化评估方法

基于混淆矩阵提出的优化分类评估指标

2.1.1 混淆矩阵和精准率/召回率的python 实现