有监督学习的模型评估和选择

简介: 有监督学习的模型评估和选择

N.1 思维导图总结

1)原始图片

2)重点记忆红色区域图片

3)下面是本人画的流程图

N.2 模型调优算法(学习算法)

N.2.1 梯度下降算法

1)梯度下降算法介绍

(1)梯度下降(gradient descent)是一种常用的一阶优化方法,是求解无约束优化问题最简单、最经典的方法之一

(2)梯度方向:函数变化增长最快的方向(变量沿此方向变化时函数增长最快)

(3)负梯度方向:函数变化减少最快的方向(变量沿此方向变化时函数减少最快)

(4)损失函数是系数的函数,那么如果系数沿着损失函数的负梯度方向变化,此时损失函数减少最快,能够以最快速度下降到极小值

2)沿着负梯度方向迭代,迭代后的θ使损失函数J(θ)更小:

————————————————————————

————————————————————————

————————————————————————

(2)从上面的解释可以看出,梯度下降不一定能够找到全局的最优解,有可能是一个局部最优解

(3)如果损失函数是凸函数,梯度下降法得到的解就一定是全局最优解

N.2.2 牛顿法和拟牛顿法

1)比较复杂,了解下

————————————————————————

————————————————————————

相关文章
|
3天前
|
机器学习/深度学习 测试技术
大模型开发:描述交叉验证以及为什么在模型评估中使用它。
【4月更文挑战第24天】交叉验证是评估机器学习模型性能的方法,通过将数据集分成训练集和多个子集(折叠)进行多次训练验证。它能减少过拟合风险,提供更可靠的性能估计,用于参数调优,并减少小数据集或噪声带来的随机性影响。通过汇总多轮验证结果,得到模型的整体性能估计。
18 7
|
2月前
|
机器学习/深度学习 算法 Python
LightGBM中的特征选择与重要性评估
LightGBM中的特征选择与重要性评估【2月更文挑战第1天】
153 0
|
4天前
|
机器学习/深度学习 数据可视化
逻辑回归、随机森林、SVM支持向量机预测心脏病风险数据和模型诊断可视化|数据分享-2
逻辑回归、随机森林、SVM支持向量机预测心脏病风险数据和模型诊断可视化|数据分享
25 5
|
3天前
|
机器学习/深度学习 数据采集 数据可视化
数据分享|逻辑回归、随机森林、SVM支持向量机预测心脏病风险数据和模型诊断可视化(上)
数据分享|逻辑回归、随机森林、SVM支持向量机预测心脏病风险数据和模型诊断可视化
23 0
|
3天前
|
机器学习/深度学习 数据可视化
数据分享|逻辑回归、随机森林、SVM支持向量机预测心脏病风险数据和模型诊断可视化(下)
数据分享|逻辑回归、随机森林、SVM支持向量机预测心脏病风险数据和模型诊断可视化
19 1
|
9天前
|
机器学习/深度学习 数据采集 算法
使用scikit-learn进行分类:模型选择与评估
【4月更文挑战第17天】本文介绍了使用scikit-learn进行分类任务,包括模型选择和评估。scikit-learn提供多种分类算法如逻辑回归、SVM、决策树等。选择模型需理解问题、预处理数据、设置基准模型、交叉验证、特征重要性分析和调参。评估模型性能有准确率、精确率、召回率、F1分数和混淆矩阵。通过训练、预测和计算指标分析模型效果。示例展示了随机森林分类器的应用。选择和评估模型需根据具体问题和数据集进行。
|
1月前
|
机器学习/深度学习 算法
机器学习-特征选择:如何使用交叉验证精准选择最优特征?
机器学习-特征选择:如何使用交叉验证精准选择最优特征?
38 0
|
8月前
|
机器学习/深度学习
评估方法&线性模型【机器学习】
评估方法&线性模型【机器学习】
34 1
|
7月前
|
机器学习/深度学习 API
机器学习逻辑回归分类评估方法
机器学习逻辑回归分类评估方法
58 0
|
7月前
|
机器学习/深度学习 算法 索引
过拟合和欠拟合:机器学习模型中的两个重要概念
过拟合和欠拟合:机器学习模型中的两个重要概念