深度之眼(十八)——偏导数与矩阵的求导

简介: 深度之眼(十八)——偏导数与矩阵的求导

一、偏导数



0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png


对某个变量求偏导,则其余变量看成常数


2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png


可以直接认为成立,不必拘泥条件


二、多元复合函数的求导法则,链式求导法则


0a2653c851af460fa595bd959398a8f1.png


这里举了一个不错的技巧,可以看z到t有几条路径

2d65d23f6d4748949b924e4057485923.png

对多元时求偏导的方法

比如对x求偏导,就看到x的路径,有几条,分别经过什么


2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


关键是画准链式关系


三、方向导数与梯度及其应用



0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


举例


0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png


梯度的正方向,是梯度增长最快的方向。

梯度的负方向,是梯度减小最快的方向


四、多元函数泰勒公式与海森炬阵


一般用到二阶


2e9b90b2ca334476abebe75bafe6eeaa.png4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


海森矩阵是个对称矩阵


五、多元角数的极值



0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png


六、距阵的求导



4cebaac233b3433da32a72337a77fc60.png6de278e6d6694ce5bb08e7e842b7e74b.png


f(x)对其求偏导,就是个列向量,有几个变量,就有行

右值都是看成实数


0a2653c851af460fa595bd959398a8f1.png


对x求偏导

对x求偏导

对x求偏导

对a求偏导

fx = Ax

A

fx = x^Tx

Ax+A^Tx

fx = a^Tx

a

x

解释之前的J


2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png


所以J对a求偏导等于0,过程在上面


0a2653c851af460fa595bd959398a8f1.png2d65d23f6d4748949b924e4057485923.png2e9b90b2ca334476abebe75bafe6eeaa.png


七、矩阵的求导在深度学习中的应用


6de278e6d6694ce5bb08e7e842b7e74b.png7a399525ddec4b77923c464820b33738 (1).png7a399525ddec4b77923c464820b33738.png



相关文章
|
10月前
|
SQL 关系型数据库 MySQL
18 PDO你知道是什么吗?
路老师在知乎分享了PHP语言的知识,重点介绍了PDO(PHP Data Object)数据库抽象层。PDO旨在解决PHP早期版本的维护难题,提高代码的可移植性和兼容性。文章详细讲解了PDO的基本概念、特点、连接数据库的方法以及执行SQL语句的几种方式,包括`exec()`、`query()`、`prepare()`和`execute()`方法。适合PHP初学者深入了解和实践。
791 3
|
机器学习/深度学习 人工智能 安全
通义千问开源的QwQ模型,一个会思考的AI,阿里云百炼邀您第一时间体验
Qwen团队推出新成员QwQ-32B-Preview,专注于增强AI推理能力。通过深入探索和试验,该模型在数学和编程领域展现了卓越的理解力,但仍在学习和完善中。目前,QwQ-32B-Preview已上线阿里云百炼平台,提供免费体验。
3851 0
|
索引 Python
Python Counter详解
Counter 是 Python collections 模块中的一个类,用于统计可哈希对象的出现次数。它提供了一种方便的方式来计数元素,返回一个字典,其中元素作为键,出现次数作为值。下面详细介绍 Counter 类的使用方法
295 1
IDEA创建多模块项目常用pom
IDEA创建多模块项目常用pom
488 8
|
API 开发工具
企业微信api接口,企业微信sdk
企业微信api接口,企业微信sdk
|
存储 JSON 定位技术
Python提取JSON数据中的键值对并保存为.csv文件
Python提取JSON数据中的键值对并保存为.csv文件
299 1
|
存储 架构师 关系型数据库
分布式系统详解--基础知识(CAP)
分布式系统详解--基础知识(CAP)
462 0
|
消息中间件 Java Kafka
【Kafka】微服务学习笔记九:什么是消息中间件&Kafka的介绍及使用
主要介绍什么是消息中间件以及Kafka在Docker上的安装配置及使用,最后还涉及到Kafka高级部分的备份机制。
1200 93
【Kafka】微服务学习笔记九:什么是消息中间件&Kafka的介绍及使用
【Latex】PPT画图,导出emf格式,word插入emf文件并导出pdf,pdf裁剪并导出eps文件,latex插入eps文件
【Latex】PPT画图,导出emf格式,word插入emf文件并导出pdf,pdf裁剪并导出eps文件,latex插入eps文件
1098 0