有监督学习的模型评估和选择

简介: 有监督学习的模型评估和选择

N.1 思维导图总结

1)原始图片

2)重点记忆红色区域图片

3)下面是本人画的流程图

N.2 模型调优算法(学习算法)

N.2.1 梯度下降算法

1)梯度下降算法介绍

(1)梯度下降(gradient descent)是一种常用的一阶优化方法,是求解无约束优化问题最简单、最经典的方法之一

(2)梯度方向:函数变化增长最快的方向(变量沿此方向变化时函数增长最快)

(3)负梯度方向:函数变化减少最快的方向(变量沿此方向变化时函数减少最快)

(4)损失函数是系数的函数,那么如果系数沿着损失函数的负梯度方向变化,此时损失函数减少最快,能够以最快速度下降到极小值

2)沿着负梯度方向迭代,迭代后的θ使损失函数J(θ)更小:

————————————————————————

————————————————————————

————————————————————————

(2)从上面的解释可以看出,梯度下降不一定能够找到全局的最优解,有可能是一个局部最优解

(3)如果损失函数是凸函数,梯度下降法得到的解就一定是全局最优解

N.2.2 牛顿法和拟牛顿法

1)比较复杂,了解下

————————————————————————

————————————————————————

相关文章
|
7月前
|
机器学习/深度学习 测试技术
大模型开发:描述交叉验证以及为什么在模型评估中使用它。
【4月更文挑战第24天】交叉验证是评估机器学习模型性能的方法,通过将数据集分成训练集和多个子集(折叠)进行多次训练验证。它能减少过拟合风险,提供更可靠的性能估计,用于参数调优,并减少小数据集或噪声带来的随机性影响。通过汇总多轮验证结果,得到模型的整体性能估计。
76 7
|
4月前
评估与预测
【8月更文挑战第21天】评估与预测。
35 1
|
7月前
|
机器学习/深度学习 监控 数据可视化
模型评估
“【5月更文挑战第27天】”
56 2
|
7月前
|
机器学习/深度学习 数据采集 人工智能
【机器学习】怎样检测到线性回归模型中的过拟合?
【5月更文挑战第17天】【机器学习】怎样检测到线性回归模型中的过拟合?
|
7月前
|
机器学习/深度学习 算法 数据挖掘
如何评估模型性能以进行模型选择?
【5月更文挑战第4天】如何评估模型性能以进行模型选择?
154 5
|
机器学习/深度学习
评估方法&线性模型【机器学习】
评估方法&线性模型【机器学习】
51 1
|
机器学习/深度学习 定位技术 Python
深入理解线性回归模型的评估与优化方法
深入理解线性回归模型的评估与优化方法
|
机器学习/深度学习 API
机器学习逻辑回归分类评估方法
机器学习逻辑回归分类评估方法
91 0
|
机器学习/深度学习 算法 搜索推荐
机器学习--模型评估、过拟合和欠拟合、模型验证
机器学习--模型评估、过拟合和欠拟合、模型验证
29698 2
机器学习--模型评估、过拟合和欠拟合、模型验证
|
机器学习/深度学习 算法
连载|模型评估与过拟合(上)
连载|模型评估与过拟合(上)
下一篇
DataWorks