二、模型评估

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 模型评估的相关问题

1、区别欧式距离和余正弦距离?

dd9de3e55c17e8cb13256f1f3e10534c_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png

2f033b13e5faf32e3bcc3a122ed34891_watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlZGEz,size_16,color_FFFFFF,t_70.png2、无偏估计和有偏估计的区别?

32d9d393c476b2e0c080036240f118be_20190304212324573.png

4.模型评估中不同的指标应用在什么场景中?

(1)准确率acc(分类问题)应用于样本类别比例平衡时,平均准确率,应用在不同类别样本比例非常不平衡时。

(2)针对实际的需求,权衡不同阈值下的召回率和精确率(PR曲线),使用一个指标调和平均值来综合反映模型的性能(排序模型)

(3)均方根误差用于衡量回归模型的好坏,但出现样本的离群点非常大时,从指标的角度考虑,应该选择平均绝对百分比误差指标评估

(4)二值分类器的评估指标:精确率,召回率,F1 score,PR曲线,还有一种roc曲线。 其中roc曲线能降低不同测试卷集带来的干扰,特别适用于正负样本数量不平衡的情况。若是希望看到模型在特定数据集的表现则PR曲线更加合适。

(5)欧式距离体现数值的绝对差异,余弦距离体现方向的相对差异,实际的使用看哪个的差异较为明显 kl距离,评估两个分布之间的差异

(6)A/B测试用于验证模型的最终效果,分实验组和测试组

参考:百面


目录
相关文章
|
6月前
|
机器学习/深度学习 测试技术
大模型开发:描述交叉验证以及为什么在模型评估中使用它。
【4月更文挑战第24天】交叉验证是评估机器学习模型性能的方法,通过将数据集分成训练集和多个子集(折叠)进行多次训练验证。它能减少过拟合风险,提供更可靠的性能估计,用于参数调优,并减少小数据集或噪声带来的随机性影响。通过汇总多轮验证结果,得到模型的整体性能估计。
63 7
|
6月前
您可以使用验证集来评估微调后的模型效果
【1月更文挑战第16天】【1月更文挑战第78篇】您可以使用验证集来评估微调后的模型效果
178 6
|
9天前
|
自然语言处理 前端开发
如何评估一个基于MLM的模型在特定任务上的性能?
如何评估一个基于MLM的模型在特定任务上的性能?
|
3月前
评估与预测
【8月更文挑战第21天】评估与预测。
32 1
|
6月前
|
机器学习/深度学习 监控 数据可视化
模型评估
“【5月更文挑战第27天】”
52 2
|
6月前
|
机器学习/深度学习 算法 数据挖掘
如何评估模型性能以进行模型选择?
【5月更文挑战第4天】如何评估模型性能以进行模型选择?
130 5
|
6月前
|
机器学习/深度学习 算法
如何评估使用PyBrain训练的模型性能
使用PyBrain训练模型的性能评估包括:混淆矩阵(TP, TN, FP, FN, 准确率)、性能度量(准确率, 错误率)、泛化能力、数据集划分(训练集与测试集误差)以及其他指标如计算速度和鲁棒性。评估过程需综合考虑多种方法,并依据业务需求和模型类型选择合适的方式。
38 3
|
6月前
|
机器学习/深度学习 算法
如何评估使用PyBrain训练的模型性能?
PyBrain模型性能评估包括混淆矩阵(TP, TN, FP, FN)、准确率与错误率、泛化能力、数据集划分与测试以及计算速度和鲁棒性等指标。评估过程需结合业务需求和模型类型选取合适方法。
35 1
|
6月前
|
机器学习/深度学习 大数据
如何通过评估方法评估机器学习模型的性能
如何通过评估方法评估机器学习模型的性能
118 0
|
机器学习/深度学习 定位技术 Python
深入理解线性回归模型的评估与优化方法
深入理解线性回归模型的评估与优化方法

热门文章

最新文章