准确率评分

简介: 准确率评分是为了衡量一个模型在预测任务中的表现,其中包括三个指标,分别是平均绝对误差(MAE)、平均相对误差(MAE%)和精确样本占比(Ratio@C)。

准确率评分是为了衡量一个模型在预测任务中的表现,其中包括三个指标,分别是平均绝对误差(MAE)、平均相对误差(MAE%)和精确样本占比(Ratio@C)。

平均绝对误差表示预测值和真实值之间的差异程度,即预测值与真实值之间的绝对误差的平均值。其计算方式为将所有样本的绝对误差相加后再取平均值,公式为:

$$ \text{MAE}=\frac{1}{N}\sum_{i=1}^{N} |y_{\text{pred}}^{(i)}-y_t^{(i)}| $$

其中,$y_{\text{pred}}^{(i)}$是第$i$个样本的预测值,$y_t^{(i)}$是第$i$个样本的真实值,$N$是样本的总数。

平均相对误差表示预测值和真实值之间的相对误差的平均值,即预测值与真实值之间的相对误差的绝对值的平均值。其计算方式为将所有样本的相对误差相加后再取平均值,公式为:

$$ \text{MAE%}=\frac{1}{N}\sum_{i=1}^{N} |\frac{y_{\text{pred}}^{(i)}-y_t^{(i)}}{y_t^{(i)} }| $$

其中,$y_{\text{pred}}^{(i)}$是第$i$个样本的预测值,$y_t^{(i)}$是第$i$个样本的真实值,$N$是样本的总数。

精确样本占比表示预测值和真实值之间的差异程度在一定范围内的样本数占总样本数的比例,即绝对误差小于某个阈值$C$的样本数占总样本数的比例。其计算方式为将绝对误差小于$C$的样本数除以总样本数,公式为:

$$ \operatorname{Ratio@C} = \frac{ |{ y_{\text{pred}}^{(i)} | |y_{\text{pred}}^{(i)}-y_t^{(i)}|< C}| }{N} $$

其中,$y_{\text{pred}}^{(i)}$是第$i$个样本的预测值,$y_t^{(i)}$是第$i$个样本的真实值,$N$是样本的总数。

准确率评分在实际应用中被广泛用于评价各种机器学习模型的性能,例如回归模型、分类模型等。以下是一个回归模型的准确率评分举例:

假设我们有一个回归模型,用于预测某种材料的密度。我们有一组包含100个样本的测试数据集,其中每个样本都包含了材料的化学成分和实际密度。我们想要评估这个回归模型的表现,可以使用准确率评分来进行评估。

首先,我们可以使用该模型对测试数据集中的每个样本进行预测,并计算出预测值和真实值之间的误差。然后,我们可以使用平均绝对误差(MAE)、平均相对误差(MAE%)和精确样本占比(Ratio@C)这三个指标来评估模型的表现。

例如,假设我们将平均绝对误差的权重设为0.6,平均相对误差的权重设为0.3,精确样本占比的权重设为0.1。则我们可以使用以下公式来计算模型的综合评分:

$$ \text{Score} = 0.6 \times \text{MAE} + 0.3 \times \text{MAE%} + 0.1 \times \operatorname{Ratio@C} $$

其中,$\text{MAE}$、$\text{MAE%}$和$\operatorname{Ratio@C}$分别为平均绝对误差、平均相对误差和精确样本占比。通过计算上述公式,我们可以得到该模型的综合评分,以衡量其在预测密度方面的表现。

推荐学习资料链接:

《Python机器学习基础教程》,作者:Sebastian Raschka、Vahid Mirjalili,出版社:机械工业出版社。

《统计学习方法》,作者:李航,出版社:清华大学出版社。

《机器学习实战》,作者:Peter Harrington,出版社:人民邮电出版社。

Scikit-learn官网:https://scikit-learn.org/stable/

TensorFlow官网:https://www.tensorflow.org/

目录
相关文章
|
6月前
|
存储 人工智能 算法
AI测试平台实战:深入解析自动化评分和多模型对比评测
在AI技术迅猛发展的今天,测试工程师面临着如何高效评估大模型性能的全新挑战。本文将深入探讨AI测试平台中自动化评分与多模型对比评测的关键技术与实践方法,为测试工程师提供可落地的解决方案。
|
10月前
|
虚拟化 iOS开发 MacOS
VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS 集成驱动版,新增 12 款 I219 网卡驱动
VMware ESXi 8.0U3e macOS Unlocker & OEM BIOS 集成驱动版,新增 12 款 I219 网卡驱动
629 15
|
2月前
|
人工智能 监控 安全
别等上线才后悔!AI应用测试的5个维度与4类实战避坑指南
某心理App上线AI打卡功能后因“张冠李戴”遭投诉,暴露大模型测试新挑战。传统测试难应对AI的不确定性,需构建覆盖准确性、鲁棒性、安全性、性能与合规性的五维框架,从“流程检验”转向“智能体守护”,确保AI输出精准、安全、有温度。
|
11月前
|
存储 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:单机性能优化篇
阿里云PolarDB云原生数据库在TPC-C基准测试中,以20.55亿tpmC的成绩打破性能与性价比世界纪录。此外,国产轻量版PolarDB已上线,提供更具性价比的选择。
|
机器学习/深度学习 数据采集 人工智能
深入理解SVM中的核函数及其应用
深入理解SVM中的核函数及其应用
794 83
|
机器学习/深度学习 存储
深入理解SVM中的核函数及其应用
深入理解SVM中的核函数及其应用
896 83
|
11月前
|
人工智能 网络性能优化 调度
Koordinator v1.6: 支持AI/ML场景的异构资源调度能力
如何高效管理和调度这些资源成为了行业关注的核心问题。在这一背景下,Koordinator积极响应社区诉求,持续深耕异构设备调度能力,并在最新的v1.6版本中推出了一系列创新功能,帮助客户解决异构资源调度难题。
|
缓存 小程序 安全
微信小程序性能优化的未来发展趋势
【10月更文挑战第21天】
568 59
|
存储 数据可视化 JavaScript
echart:地图的制造&数据可视化
本文档介绍了如何使用 ECharts 和 Vue.js 制作中国地图,并展示了具体的数据绑定和样式设置方法。首先通过 Axios 获取地图数据并注册到 ECharts,然后设置地图的视觉映射、数据系列等配置项,实现地图的动态显示与交互。此外,还提供了关于时间显示、边框修饰、自定义字体及图表栏的样式调整等实用技巧。
1139 1
Vue3+Vite+Pinia+Naive后台管理系统搭建之一:基础项目构建
Vue3+Vite+Pinia+Naive后台管理系统搭建之一:基础项目构建
252 1

热门文章

最新文章