深度之眼(十八)——偏导数与矩阵的求导

简介: 深度之眼(十八)——偏导数与矩阵的求导

一、偏导数



0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png


对某个变量求偏导,则其余变量看成常数


2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png


可以直接认为成立,不必拘泥条件


二、多元复合函数的求导法则,链式求导法则


0a2653c851af460fa595bd959398a8f1.png


这里举了一个不错的技巧,可以看z到t有几条路径

2d65d23f6d4748949b924e4057485923.png

对多元时求偏导的方法

比如对x求偏导,就看到x的路径,有几条,分别经过什么


2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


关键是画准链式关系


三、方向导数与梯度及其应用



0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


举例


0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png


梯度的正方向,是梯度增长最快的方向。

梯度的负方向,是梯度减小最快的方向


四、多元函数泰勒公式与海森炬阵


一般用到二阶


2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


海森矩阵是个对称矩阵


五、多元角数的极值



0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png


六、距阵的求导



4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


f(x)对其求偏导,就是个列向量,有几个变量,就有行

右值都是看成实数


0a2653c851af460fa595bd959398a8f1.png


对x求偏导

对x求偏导

对x求偏导

对a求偏导

fx = Ax

A

fx = x^Tx

Ax+A^Tx

fx = a^Tx

a

x

解释之前的J


2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png


所以J对a求偏导等于0,过程在上面


0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png


七、矩阵的求导在深度学习中的应用


6de278e6d6694ce5bb08e7e842b7e74b.png7a399525ddec4b77923c464820b33738 (1).png7a399525ddec4b77923c464820b33738.png



相关文章
04 微积分 - 偏导数
04 微积分 - 偏导数
50 0
|
6月前
技术心得:曲率计算公式推导
技术心得:曲率计算公式推导
94 0
|
机器学习/深度学习 算法 Python
数学和微分角度理解梯度下降算法
数学和微分角度理解梯度下降算法
121 0
|
机器学习/深度学习
深度之眼(三)——矩阵的行列式
深度之眼(三)——矩阵的行列式
244 0
深度之眼(三)——矩阵的行列式
|
机器学习/深度学习
深度之眼(二)——矩阵及其基本运算
深度之眼(二)——矩阵及其基本运算
200 0
深度之眼(二)——矩阵及其基本运算
【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度
【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度
488 0
【RL数学基础】微积分的基本概念:导数、偏导数、方向导数、梯度
|
机器学习/深度学习 算法
|
机器学习/深度学习 算法 搜索推荐
导数、梯度、最优化方法|学习笔记
快速学习导数、梯度、最优化方法
171 0
导数、梯度、最优化方法|学习笔记
|
机器学习/深度学习 存储 算法
导数、梯度、最优化方法|学习笔记
快速学习导数、梯度、最优化方法
导数、梯度、最优化方法|学习笔记
|
人工智能 开发者
偏导数 | 学习笔记
快速学习偏导数
127 0
偏导数  |  学习笔记