机器学习 模型评估课后题

1.结合对性能度量部分的阅读，简述错误率、精度、查准率与查全率的含义。

答：

错误率(Error Rate)：是分类错误的样本数占样本总数的比例。

精度(Accuracy)：是分类正确的样本数占样本总数的比例。

对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive)、假正例(false positive)、真反例(true negative)、假反例(false negative)四种情形，令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP+TN+FN=样例总数。分类结果的“混淆矩阵”(confusion matrix)如下所示：

查准率(Precision)，又叫准确率，缩写表示用P。查准率是针对我们预测结果而言的，它表示的是预测为正的样例中有多少是真正的正样例。

查全率(Recall)，又叫召回率，缩写表示用R。查全率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确。

（注：以上公式均截图自《机器学习》周志华）

2. 数据集包含1000个样本，其中500个正例、500个反例，将其划分为包含70%样本的训练集和30%样本的测试集用于留出法评估，试估算共有多少种划分方式？

答：

留出法将数据集划分为两个互斥的集合，为了保持数据的一致性，应该保证两个集合中的类别比例相同。故可以用分层采样的方法。

所以训练集包含350个正例与350个反例，测试集包含150个正例与150个反例。

方式总数：

3.已知分类结果混淆矩阵如下，试计算错误率,精度，查准率，查全率，F1。

   答：

   错误率：E=FN+FPTP+FN+FP+TN=300+200100+300+400+200=0.5

   精度：A=TP+TNTP+FN+FP+TN=100+400100+300+400+200=0.5

查准率：P=TPTP+FP=100100+200=0.333

查全率：R=TPTP+FN=100100+300=0.25

F1：A=2*TPTP+FN+FP+TN+TP-TN=2*1002*100+300+200=0.2857

4.如下所示10个测试样本，’Class’一栏表示每个测试样本的真正标签 （P表示正例；N表示反例），’Score’表示在某分类器中每个测试样本被预测为正样本的概率：

画出ROC 曲线并计算AUC 的值。

答：

Auc = 0.52