深度之眼(十八)——偏导数与矩阵的求导

简介: 深度之眼(十八)——偏导数与矩阵的求导

一、偏导数



0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png


对某个变量求偏导,则其余变量看成常数


2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png


可以直接认为成立,不必拘泥条件


二、多元复合函数的求导法则,链式求导法则


0a2653c851af460fa595bd959398a8f1.png


这里举了一个不错的技巧,可以看z到t有几条路径

2d65d23f6d4748949b924e4057485923.png

对多元时求偏导的方法

比如对x求偏导,就看到x的路径,有几条,分别经过什么


2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


关键是画准链式关系


三、方向导数与梯度及其应用



0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


举例


0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png


梯度的正方向,是梯度增长最快的方向。

梯度的负方向,是梯度减小最快的方向


四、多元函数泰勒公式与海森炬阵


一般用到二阶


2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


海森矩阵是个对称矩阵


五、多元角数的极值



0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png


六、距阵的求导



4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


f(x)对其求偏导,就是个列向量,有几个变量,就有行

右值都是看成实数


0a2653c851af460fa595bd959398a8f1.png


对x求偏导

对x求偏导

对x求偏导

对a求偏导

fx = Ax

A

fx = x^Tx

Ax+A^Tx

fx = a^Tx

a

x

解释之前的J


2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png


所以J对a求偏导等于0,过程在上面


0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png


七、矩阵的求导在深度学习中的应用


6de278e6d6694ce5bb08e7e842b7e74b.png7a399525ddec4b77923c464820b33738 (1).png7a399525ddec4b77923c464820b33738.png



目录
打赏
0
0
0
0
36
分享
相关文章
|
10月前
技术心得:曲率计算公式推导
技术心得:曲率计算公式推导
151 0
【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度
【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度
583 0
【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度
[物理学与PDEs]第2章第1节 理想流体力学方程组 1.4 一维理想流体力学方程组
1.  一维理想流体力学方程组 $$\beex \bea \cfrac{\p\rho}{\p t}+\cfrac{\p}{\p x}(\rho u)&=0,\\ \cfrac{\p}{\p t}(\rho u) +\cfrac{\p}{\p x}(\rho u^2+p)&=\rho F,\\ \cf...
843 0
凸优化理论基础3——凸集和凸锥重要例子
凸优化理论基础3——凸集和凸锥重要例子
1020 0
凸优化理论基础3——凸集和凸锥重要例子
算法基础系列第四章——数论之从欧拉卷到欧几里得(1)
算法基础系列第四章——数论之从欧拉卷到欧几里得(1)
242 0
算法基础系列第四章——数论之从欧拉卷到欧几里得(1)
算法基础系列第四章——数论之从欧拉卷到欧几里得(2)
算法基础系列第四章——数论之从欧拉卷到欧几里得(2)
114 0
算法基础系列第四章——数论之从欧拉卷到欧几里得(2)