准确率评分是为了衡量一个模型在预测任务中的表现,其中包括三个指标,分别是平均绝对误差(MAE)、平均相对误差(MAE%)和精确样本占比(Ratio@C)。
平均绝对误差表示预测值和真实值之间的差异程度,即预测值与真实值之间的绝对误差的平均值。其计算方式为将所有样本的绝对误差相加后再取平均值,公式为:
$$ \text{MAE}=\frac{1}{N}\sum_{i=1}^{N} |y_{\text{pred}}^{(i)}-y_t^{(i)}| $$
其中,$y_{\text{pred}}^{(i)}$是第$i$个样本的预测值,$y_t^{(i)}$是第$i$个样本的真实值,$N$是样本的总数。
平均相对误差表示预测值和真实值之间的相对误差的平均值,即预测值与真实值之间的相对误差的绝对值的平均值。其计算方式为将所有样本的相对误差相加后再取平均值,公式为:
$$ \text{MAE%}=\frac{1}{N}\sum_{i=1}^{N} |\frac{y_{\text{pred}}^{(i)}-y_t^{(i)}}{y_t^{(i)} }| $$
其中,$y_{\text{pred}}^{(i)}$是第$i$个样本的预测值,$y_t^{(i)}$是第$i$个样本的真实值,$N$是样本的总数。
精确样本占比表示预测值和真实值之间的差异程度在一定范围内的样本数占总样本数的比例,即绝对误差小于某个阈值$C$的样本数占总样本数的比例。其计算方式为将绝对误差小于$C$的样本数除以总样本数,公式为:
$$ \operatorname{Ratio@C} = \frac{ |{ y_{\text{pred}}^{(i)} | |y_{\text{pred}}^{(i)}-y_t^{(i)}|< C}| }{N} $$
其中,$y_{\text{pred}}^{(i)}$是第$i$个样本的预测值,$y_t^{(i)}$是第$i$个样本的真实值,$N$是样本的总数。
准确率评分在实际应用中被广泛用于评价各种机器学习模型的性能,例如回归模型、分类模型等。以下是一个回归模型的准确率评分举例:
假设我们有一个回归模型,用于预测某种材料的密度。我们有一组包含100个样本的测试数据集,其中每个样本都包含了材料的化学成分和实际密度。我们想要评估这个回归模型的表现,可以使用准确率评分来进行评估。
首先,我们可以使用该模型对测试数据集中的每个样本进行预测,并计算出预测值和真实值之间的误差。然后,我们可以使用平均绝对误差(MAE)、平均相对误差(MAE%)和精确样本占比(Ratio@C)这三个指标来评估模型的表现。
例如,假设我们将平均绝对误差的权重设为0.6,平均相对误差的权重设为0.3,精确样本占比的权重设为0.1。则我们可以使用以下公式来计算模型的综合评分:
$$ \text{Score} = 0.6 \times \text{MAE} + 0.3 \times \text{MAE%} + 0.1 \times \operatorname{Ratio@C} $$
其中,$\text{MAE}$、$\text{MAE%}$和$\operatorname{Ratio@C}$分别为平均绝对误差、平均相对误差和精确样本占比。通过计算上述公式,我们可以得到该模型的综合评分,以衡量其在预测密度方面的表现。
推荐学习资料链接:
《Python机器学习基础教程》,作者:Sebastian Raschka、Vahid Mirjalili,出版社:机械工业出版社。
《统计学习方法》,作者:李航,出版社:清华大学出版社。
《机器学习实战》,作者:Peter Harrington,出版社:人民邮电出版社。
Scikit-learn官网:https://scikit-learn.org/stable/
TensorFlow官网:https://www.tensorflow.org/