最优化理论(一)梯度直观理解

简介: 最优化理论(一)梯度直观理解

一:全导数

110.png

112.png

二:极值与微分

111.png

三:方向导数

113.png

四:梯度

114.png115.png



引出

梯度:是一个矢量,其方向上的方向导数最大,其大小正好是此最大方向导数。


4.1为什么所有方向导数中会存在并且只存在一个最大值?

例子引出:


image.png


数学定义:

117.png


118.png

注:因为这里举的例子是水滴往下滑,所以要说多说明一下,往下滑是梯度的反方向。因为梯度指的是增长最快的方向,而往下滑是减少最快的方向。


4.2 这个最大值在哪个方向取得?值是多少?

这个最大值的方向我们就取名为梯度方向。最大方向导数的值是多少这个问题,我没有找到特别直观的方法来说明。我也不想给出计算步骤,要不看起来和数学书也没啥区别。大家自己去查找计算过程吧。


五:如何直观形象的理解方向导数与梯度以及它们之间的关系?

119.png

120.png121.png122.png


六:总结

方向导数是各个方向上的导数;

偏导数连续才有梯度存在;

梯度的方向是方向导数中取到最大值的方向,梯度的值是方向导数的最大值

目录
相关文章
|
6月前
|
数据可视化 Linux
R语言中的多项式回归、局部回归、核平滑和平滑样条回归模型
R语言中的多项式回归、局部回归、核平滑和平滑样条回归模型
|
6月前
|
数据可视化
R语言广义相加(加性)模型(GAMs)与光滑函数可视化
R语言广义相加(加性)模型(GAMs)与光滑函数可视化
|
6月前
基于R统计软件的三次样条和平滑样条模型数据拟合及预测
基于R统计软件的三次样条和平滑样条模型数据拟合及预测
|
6月前
R语言中使用线性模型、回归决策树自动组合特征因子水平
R语言中使用线性模型、回归决策树自动组合特征因子水平
|
6月前
用图直观上理解梯度算子(一阶)与拉普拉斯算子(二阶)的区别,线检测与边缘检测的区别
用图直观上理解梯度算子(一阶)与拉普拉斯算子(二阶)的区别,线检测与边缘检测的区别
222 1
|
11月前
|
算法 数据处理
数据拟合、参数估计、插值等数据处理算法
数据拟合、参数估计、插值等数据处理算法
137 0
数据拟合、参数估计、插值等数据处理算法
|
6月前
|
机器学习/深度学习 人工智能 安全
人工智能中非平衡数据处理方法、欠采样、过采样讲解(简单易懂)
人工智能中非平衡数据处理方法、欠采样、过采样讲解(简单易懂)
262 0
|
机器学习/深度学习 传感器 缓存
可分离高斯神经网络:结构、分析和函数逼近
可分离高斯神经网络:结构、分析和函数逼近
167 0
|
机器学习/深度学习 算法 数据可视化
梯度提升算法决策过程的逐步可视化
梯度提升算法是最常用的集成机器学习技术之一,该模型使用弱决策树序列来构建强学习器。这也是XGBoost和LightGBM模型的理论基础,所以在这篇文章中,我们将从头开始构建一个梯度增强模型并将其可视化。
164 0
梯度提升算法决策过程的逐步可视化
|
机器学习/深度学习 并行计算 算法
【机器学习】搜索算法(梯度,随机梯度,次梯度,小批量,坐标下降)
【机器学习】搜索算法(梯度,随机梯度,次梯度,小批量,坐标下降)
235 0