学习笔记: 机器学习经典算法-回归模型性能评估

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
任务调度 XXL-JOB 版免费试用,400 元额度,开发版规格
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 机器学习经典算法-个人笔记和学习心得分享

在实际使用的时候,训练线性回归模型的数据来源于从原始数据集拆分出来的训练集(train_data),模型的损失函数也是对应训练集的,即mi(ˆy(i)trainy(i)train)2

均方误差(Mean Square Error)

MSE=1mmi(ˆy(i)testy(i)test)2
这是目前最为通用的通过衡量真值与预测值差距来评估线性模型性能的方法。
当使用mi(ˆy(i)testy(i)test)2作为评估模型的标准会使得测试集大小m与其值密切关联,m越大会使得mi(ˆy(i)testy(i)test)2的值也越大。均方误差(Mean Square Error)是其改进方法。

from sklearn.metrics import mean_squared_error
mean_squared_error(y_test,y_predict)
AI 代码解读

均方根误差(Root Mean Square Error)

RMSE=1mmi(ˆy(i)testy(i)test)2=MSE
该方法改进了 MSE 处理量纲敏感问题的缺陷,使误差的衡量单位变回样本输出标记的原始量纲,从而误差背后的意义更方便解释。

平均绝对误差(Mean Absolute Error)

MAE=1mmi|(ˆy(i)testy(i)test)|

from sklearn.metrics import mean_absolute_error
mean_absolute_error(y_test,y_predict)
AI 代码解读

RMSE 与 MAE 的比较
RMSE是每个样本点的真值与预测值的差异值的平方加和后再开方,该方法会明显放大样本中最大的差异,RMSE反映的差距会比直接反映的差距MAE要大一些。所以在真实情况中,使RMSE的值更加小相对来说会更有意义,这就意味着样本的错误中,最大的错误值相对更小。使得目标损失函数mi(ˆy(i)y(i))2最小化的背后也是使得最终预测结果中最大的误差最小化。

R Square
对于算法性能评估方法 RMSE,MAE 等,其衡量的误差带有样本输出标签的量纲,当面对不同的回归问题时,算法的好坏评判标准就会变得模糊(比如一个模型在房价预测时误差是5万元,在学生分数预测的时候是10分,这时就无法难判断这个模型是适合学生分数预测还是房价预测,不同量纲的数据无法直接比较)。这是这些方法的局限性。改进方法就是 R Square,该方法将回归问题的评估结果规约到了[0-1]区间。

R2=1SSresidualSStotal=1MSE(ˆyy(i))Var(y),R21

Residual Sum of Square SSresidual=i(ˆy(i)y(i))2
Total Sum of Square       SStotal      =i(¯yy(i))2

SSresidual描述的是使用 训练模型(train Model) 进行预测产生的错误;SSresidual描述的是使用 y=¯y(基准模型,Baseline Model) 进行预测产生的错误。在这里,使用 Baseline Model 进行预测通常会产生非常多的错误,而使用 训练模型(train Model) 也会产生错误,但是相应地也减少了很多错误。所以R2 衡量的是 训练模型(train Model) 相比 Baseline Model 减少的错误,也就是模型的拟合程度

R2=1意味着 训练模型(train Model) 不凡任何错误;
R2=0意味着 训练模型(train Model) 等于基准模型;
R2<0意味着 训练模型(train Model) 不如基准模型,很有可能数据不存在任何线性关系。

from sklearn.metrics import r2_score
r2_score = r2_score(y_test,y_predict)
AI 代码解读
相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
目录
打赏
0
0
0
0
185
分享
相关文章
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
307 13
机器学习算法的优化与改进:提升模型性能的策略与方法
解锁机器学习的新维度:元学习的算法与应用探秘
元学习作为一个重要的研究领域,正逐渐在多个应用领域展现其潜力。通过理解和应用元学习的基本算法,研究者可以更好地解决在样本不足或任务快速变化的情况下的学习问题。随着研究的深入,元学习有望在人工智能的未来发展中发挥更大的作用。
CCS 2024:如何严格衡量机器学习算法的隐私泄露? ETH有了新发现
在2024年CCS会议上,苏黎世联邦理工学院的研究人员提出,当前对机器学习隐私保护措施的评估可能存在严重误导。研究通过LiRA攻击评估了五种经验性隐私保护措施(HAMP、RelaxLoss、SELENA、DFKD和SSL),发现现有方法忽视最脆弱数据点、使用较弱攻击且未与实际差分隐私基线比较。结果表明这些措施在更强攻击下表现不佳,而强大的差分隐私基线则提供了更好的隐私-效用权衡。
54 14
|
2月前
|
PAI下面的gbdt、xgboost、ps-smart 算法如何优化?
设置gbdt 、xgboost等算法的样本和特征的采样率
103 2
C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出
本文探讨了C语言在机器学习中的应用及其重要性。C语言以其高效性、灵活性和可移植性,适合开发高性能的机器学习算法,尤其在底层算法实现、嵌入式系统和高性能计算中表现突出。文章还介绍了C语言在知名机器学习库中的作用,以及与Python等语言结合使用的案例,展望了其未来发展的挑战与机遇。
81 1
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
100 1
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
198 6
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
184 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等