【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度

简介: 【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度

1.导数

导数定义: 反应的是函数 y = f ( x ) y=f(x)y=f(x) 在某一点处沿着自变量 x xx 的正方向(即: x xx 轴正方向)的变化率。


导数公式:


image.png

image.png

b937c8a55d32771cda5567e72b3a400c_7c289fea345543afbd47782a3b7417f8.png



2.偏导数

偏导数定义: 以二元函数为例,反应的是函数 z = f ( x , y ) z=f(x,y)z=f(x,y) 在某一点处沿着某个坐标轴正方向(即:沿着 x xx 轴正方向或者沿着 y yy 轴正方向)的变化率。


偏导数公式:


image.png



注: 导数与偏导数本质是⼀致的,都是当⾃变量的变化趋于0时,函数值的变化与⾃变量的变化,它们两者之间⽐值的极限。


3.方向导数

在前⾯导数和偏导数的定义中,均是沿坐标轴正⽅向讨论函数的变化率。那么当我们讨论函数沿任意⽅向的变化率时,也就引出了⽅向导数的定义。


方向导数: 反应的是函数 y yy 在某一点 x 0 x_0x

0

 处沿着特定方向(不一定是 x xx 轴正方向了)的变化率。


4.梯度

梯度的提出只为了回答一个问题:函数在变量空间的某一点处,沿着哪个方向有最大的变化率?

梯度的定义如下:函数在某一点的梯度是这样的一个向量,它的方向与最大方向导数的方向一致,而它的大小为方向导数的最大值。


注意:

1)梯度是一个向量,即有方向有大小;

2)梯度的方向就是最大方向导数的方向,即:函数增长最快的方向。

3)梯度的值,就是最大方向导数的值。


区别: 偏导数只能对坐标轴某一方向求导数,方向倒数可以对自变量定义域内任意方向求导,而梯度是方向方向导数值取最大的一个特殊情况。


目录
相关文章
04 微积分 - 偏导数
04 微积分 - 偏导数
50 0
|
20天前
|
机器学习/深度学习 算法 安全
从方向导数到梯度:深度学习中的关键数学概念详解
方向导数衡量函数在特定方向上的变化率,其值可通过梯度与方向向量的点积或构造辅助函数求得。梯度则是由偏导数组成的向量,指向函数值增长最快的方向,其模长等于最速上升方向上的方向导数。这两者的关系在多维函数分析中至关重要,广泛应用于优化算法等领域。
68 36
从方向导数到梯度:深度学习中的关键数学概念详解
02 微积分 - 导数
02 微积分 - 导数
33 0
|
机器学习/深度学习 算法 Python
数学和微分角度理解梯度下降算法
数学和微分角度理解梯度下降算法
121 0
|
机器学习/深度学习 人工智能
机器学习数学基础二:泰勒公式与拉格朗日
首先我们先来回忆一下,在微分中的可微函数可局部线性化 ,这个概念可能现在听起来有些太专业了哈,实际上就是一个以直代曲的思想。
308 1
机器学习数学基础二:泰勒公式与拉格朗日
数学|如何求解线性方程系数?
数学|如何求解线性方程系数?
182 0
|
机器学习/深度学习
深度之眼(十八)——偏导数与矩阵的求导
深度之眼(十八)——偏导数与矩阵的求导
283 0
深度之眼(十八)——偏导数与矩阵的求导