准确率评分

简介: 准确率评分是为了衡量一个模型在预测任务中的表现,其中包括三个指标,分别是平均绝对误差(MAE)、平均相对误差(MAE%)和精确样本占比(Ratio@C)。

准确率评分是为了衡量一个模型在预测任务中的表现,其中包括三个指标,分别是平均绝对误差(MAE)、平均相对误差(MAE%)和精确样本占比(Ratio@C)。

平均绝对误差表示预测值和真实值之间的差异程度,即预测值与真实值之间的绝对误差的平均值。其计算方式为将所有样本的绝对误差相加后再取平均值,公式为:

$$ \text{MAE}=\frac{1}{N}\sum_{i=1}^{N} |y_{\text{pred}}^{(i)}-y_t^{(i)}| $$

其中,$y_{\text{pred}}^{(i)}$是第$i$个样本的预测值,$y_t^{(i)}$是第$i$个样本的真实值,$N$是样本的总数。

平均相对误差表示预测值和真实值之间的相对误差的平均值,即预测值与真实值之间的相对误差的绝对值的平均值。其计算方式为将所有样本的相对误差相加后再取平均值,公式为:

$$ \text{MAE%}=\frac{1}{N}\sum_{i=1}^{N} |\frac{y_{\text{pred}}^{(i)}-y_t^{(i)}}{y_t^{(i)} }| $$

其中,$y_{\text{pred}}^{(i)}$是第$i$个样本的预测值,$y_t^{(i)}$是第$i$个样本的真实值,$N$是样本的总数。

精确样本占比表示预测值和真实值之间的差异程度在一定范围内的样本数占总样本数的比例,即绝对误差小于某个阈值$C$的样本数占总样本数的比例。其计算方式为将绝对误差小于$C$的样本数除以总样本数,公式为:

$$ \operatorname{Ratio@C} = \frac{ |{ y_{\text{pred}}^{(i)} | |y_{\text{pred}}^{(i)}-y_t^{(i)}|< C}| }{N} $$

其中,$y_{\text{pred}}^{(i)}$是第$i$个样本的预测值,$y_t^{(i)}$是第$i$个样本的真实值,$N$是样本的总数。

准确率评分在实际应用中被广泛用于评价各种机器学习模型的性能,例如回归模型、分类模型等。以下是一个回归模型的准确率评分举例:

假设我们有一个回归模型,用于预测某种材料的密度。我们有一组包含100个样本的测试数据集,其中每个样本都包含了材料的化学成分和实际密度。我们想要评估这个回归模型的表现,可以使用准确率评分来进行评估。

首先,我们可以使用该模型对测试数据集中的每个样本进行预测,并计算出预测值和真实值之间的误差。然后,我们可以使用平均绝对误差(MAE)、平均相对误差(MAE%)和精确样本占比(Ratio@C)这三个指标来评估模型的表现。

例如,假设我们将平均绝对误差的权重设为0.6,平均相对误差的权重设为0.3,精确样本占比的权重设为0.1。则我们可以使用以下公式来计算模型的综合评分:

$$ \text{Score} = 0.6 \times \text{MAE} + 0.3 \times \text{MAE%} + 0.1 \times \operatorname{Ratio@C} $$

其中,$\text{MAE}$、$\text{MAE%}$和$\operatorname{Ratio@C}$分别为平均绝对误差、平均相对误差和精确样本占比。通过计算上述公式,我们可以得到该模型的综合评分,以衡量其在预测密度方面的表现。

推荐学习资料链接:

《Python机器学习基础教程》,作者:Sebastian Raschka、Vahid Mirjalili,出版社:机械工业出版社。

《统计学习方法》,作者:李航,出版社:清华大学出版社。

《机器学习实战》,作者:Peter Harrington,出版社:人民邮电出版社。

Scikit-learn官网:https://scikit-learn.org/stable/

TensorFlow官网:https://www.tensorflow.org/

目录
相关文章
sklearn中分类模型评估指标(一):准确率、Top准确率、平衡准确率
accuracy_score函数计算准确率分数,即预测正确的分数(默认)或计数(当normalize=False时)。 在多标签分类中,该函数返回子集准确率(subset accuracy)。 如果样本的整个预测标签集与真实标签集严格匹配,则子集准确率为 1.0; 否则为 0.0。
|
4月前
评估与预测
【8月更文挑战第21天】评估与预测。
35 1
|
6月前
|
机器学习/深度学习
YOLOv8的多分类模型如何计算准确率(Accuracy)、精确率(Precision)、召回率(recall)和F1-Score模型评估参数
YOLOv8的多分类模型如何计算准确率(Accuracy)、精确率(Precision)、召回率(recall)和F1-Score模型评估参数
|
7月前
|
机器学习/深度学习 监控 数据可视化
关于运动员伤病预测数据集的探索(下)
关于运动员伤病预测数据集的探索(下)
|
7月前
|
机器学习/深度学习 监控 数据可视化
关于运动员伤病预测数据集的探索(上)
关于运动员伤病预测数据集的探索
|
7月前
|
人工智能
ChatGPT能预测未来特定事件,准确率高达97%
【4月更文挑战第30天】贝勒大学经济学家Pham Hoang Van和Scott Cunningham的研究发现,ChatGPT-4使用未来叙事提示预测2022年事件的准确率高达97%。在预测奥斯卡奖项和经济趋势时,这种方法尤为有效。研究揭示了大型语言模型的预测潜力,但也指出其局限性,如时间范围、提示策略多样性和潜在偏见。论文链接:[arxiv.org/abs/2404.07396](https://arxiv.org/abs/2404.07396)
63 2
|
7月前
|
算法 Python
利用贝叶斯算法对简单应用实现预测分类
利用贝叶斯算法对简单应用实现预测分类
|
机器学习/深度学习
瞎聊机器学习——准确率、精确率、召回率、F1 score
瞎聊机器学习——准确率、精确率、召回率、F1 score
有监督学习算法的评价指标——精确率、准确率和召回率
有监督学习算法的评价指标——精确率、准确率和召回率
|
机器学习/深度学习