【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度

简介: 【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度

1.导数

导数定义: 反应的是函数 y = f ( x ) y=f(x)y=f(x) 在某一点处沿着自变量 x xx 的正方向(即: x xx 轴正方向)的变化率。


导数公式:


image.png

image.png

b937c8a55d32771cda5567e72b3a400c_7c289fea345543afbd47782a3b7417f8.png



2.偏导数

偏导数定义: 以二元函数为例,反应的是函数 z = f ( x , y ) z=f(x,y)z=f(x,y) 在某一点处沿着某个坐标轴正方向(即:沿着 x xx 轴正方向或者沿着 y yy 轴正方向)的变化率。


偏导数公式:


image.png



注: 导数与偏导数本质是⼀致的,都是当⾃变量的变化趋于0时,函数值的变化与⾃变量的变化,它们两者之间⽐值的极限。


3.方向导数

在前⾯导数和偏导数的定义中,均是沿坐标轴正⽅向讨论函数的变化率。那么当我们讨论函数沿任意⽅向的变化率时,也就引出了⽅向导数的定义。


方向导数: 反应的是函数 y yy 在某一点 x 0 x_0x

0

 处沿着特定方向(不一定是 x xx 轴正方向了)的变化率。


4.梯度

梯度的提出只为了回答一个问题:函数在变量空间的某一点处,沿着哪个方向有最大的变化率?

梯度的定义如下:函数在某一点的梯度是这样的一个向量,它的方向与最大方向导数的方向一致,而它的大小为方向导数的最大值。


注意:

1)梯度是一个向量,即有方向有大小;

2)梯度的方向就是最大方向导数的方向,即:函数增长最快的方向。

3)梯度的值,就是最大方向导数的值。


区别: 偏导数只能对坐标轴某一方向求导数,方向倒数可以对自变量定义域内任意方向求导,而梯度是方向方向导数值取最大的一个特殊情况。


目录
相关文章
|
7月前
04 微积分 - 偏导数
04 微积分 - 偏导数
31 0
|
21天前
高等数学II-知识点(3)——广义积分、定积分几何应用、定积分求曲线弧长、常微分方程、可分离变量的微分方程、一阶微分方程-齐次方程、一阶线性微分方程
高等数学II-知识点(3)——广义积分、定积分几何应用、定积分求曲线弧长、常微分方程、可分离变量的微分方程、一阶微分方程-齐次方程、一阶线性微分方程
12 0
|
7月前
02 微积分 - 导数
02 微积分 - 导数
25 0
|
10月前
|
机器学习/深度学习 算法 Python
数学和微分角度理解梯度下降算法
数学和微分角度理解梯度下降算法
微积分:微分
1.代数推导 假设我们有一个正方形初始边长为X,这时面积S1=x² 然后正方形的边长增加△x,此时面积S2=(x+△x)² 变化的面积大小是△s=(x+△x)²- x²=2x△x+(△x)² 观察可以发现当△x越小(△x)²会比2x△x率先趋近于0,也就是换句话说,当△x很小时我们可以近似的认为 △s=2x△x 仔细观察上面的式子,这个2X其实就是x的平方的导数,这时候我们是不是就理解了为什么说导数可以描述变化趋势的快慢。
100 0
|
机器学习/深度学习 人工智能
机器学习数学基础二:泰勒公式与拉格朗日
首先我们先来回忆一下,在微分中的可微函数可局部线性化 ,这个概念可能现在听起来有些太专业了哈,实际上就是一个以直代曲的思想。
240 1
机器学习数学基础二:泰勒公式与拉格朗日
|
机器学习/深度学习
深度之眼(十八)——偏导数与矩阵的求导
深度之眼(十八)——偏导数与矩阵的求导
186 0
深度之眼(十八)——偏导数与矩阵的求导
|
机器学习/深度学习 算法
无公式理解反向传播算法之精髓
无公式理解反向传播算法之精髓
无公式理解反向传播算法之精髓