【机器学习中的矩阵求导】(六)Jacobian矩阵和Hessian矩阵

简介: 矩阵对矩阵的求导。假如有p×q矩阵F要对m×n的矩阵X求导,根据第一篇求导布局的定义,矩阵F的pq个元素要对矩阵X的mn个值分别求导,所以求导结果一共有mnpq个,求导的结果如何排列:0.1 主流的矩阵对矩阵求导定义

零、回顾上一讲

矩阵对矩阵的求导。


假如有p×q矩阵F要对m×n的矩阵X求导,根据第一篇求导布局的定义,矩阵F的pq个元素要对矩阵X的mn个值分别求导,所以求导结果一共有mnpq个,求导的结果如何排列:


0.1 主流的矩阵对矩阵求导定义

现在主流的矩阵对矩阵求导定义是对矩阵先做向量化,然后使用向量对向量的求导。

这里的向量化一般使用列向量,即矩阵对矩阵的求导可以表示为:

image.png

0.2 矩阵对矩阵求导的微分法

向量化的矩阵对矩阵求导,主要是为了使用类似于前面讲过的微分法求导。之前(三)标量对向量矩阵求导的微分法里有:image.png

image.png

image.png

二、Hessian矩阵

黑塞矩阵(Hessian Matrix),又译作海森矩阵、海瑟矩阵、海塞矩阵等,是一个多元函数的二阶偏导数构成的方阵,描述了函数的局部曲率。 在数学中,海森矩阵(Hessian matrix 或 Hessian)是一个自变量为向量的实值函数的二阶偏导数组成的方块矩阵。

假设有一实数函数:


image.pngimage.png

image.png

三、应用

3.1 多元函数的极值

定理:(二元函数取得极值的充分条件)如果函数 z = f ( x , y ) z=f(x, y)z=f(x,y) 在点 ( x 0 , y 0 ) \left(x_{0}, y_{0}\right)(x

0

,y

0

) 的某邻域内具有连续的二阶偏导数, ( x 0 , y 0 ) \left(x_{0}, y_{0}\right)(x

0

,y

0

) 是它的驻点,令:


image.png

image.png

image.png

相关文章
|
机器学习/深度学习 决策智能
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (四)向量和矩阵的范数
259 0
学习笔记: 线性代数-矩阵的相似性
线性代数个人学习笔记
161 0
|
机器学习/深度学习 资源调度 算法
|
移动开发
|
机器学习/深度学习 算法 图形学
矩阵和线性代数的应用
矩阵和线性代数是数学中重要的概念,它们被广泛应用于物理、工程、计算机科学、经济学等众多领域。本文将讨论矩阵和线性代数的一些基本概念以及它们在实际应用中的重要性和影响。
334 0
|
人工智能 开发者
矩阵的秩 | 学习笔记
快速学习矩阵的秩
矩阵的秩 | 学习笔记
|
机器学习/深度学习
【机器学习中的矩阵求导】(六)Jacobian矩阵和Hessian矩阵
矩阵对矩阵的求导。 假如有p×q矩阵F要对m×n的矩阵X求导,根据第一篇求导布局的定义,矩阵F的pq个元素要对矩阵X的mn个值分别求导,所以求导结果一共有mnpq个,求导的结果如何排列:
806 0
【机器学习中的矩阵求导】(六)Jacobian矩阵和Hessian矩阵
|
机器学习/深度学习
【机器学习中的矩阵求导】(二)矩阵向量求导(定义法)
假设:x xx表示标量;X XX表示m×n维的矩阵;求导的因变量用y yy表示标量;Y YY表示p × q p×qp×q维矩阵
143 0
【机器学习中的矩阵求导】(二)矩阵向量求导(定义法)
|
机器学习/深度学习 算法
【机器学习中的矩阵求导】(五)矩阵对矩阵求导
假如有p×q矩阵F要对m×n的矩阵X求导,根据第一篇求导布局的定义,矩阵F的pq个元素要对矩阵X的mn个值分别求导,所以求导结果一共有mnpq个,求导的结果如何排列:
613 0
【机器学习中的矩阵求导】(五)矩阵对矩阵求导