pytorch中非标量调用backward()的时候为什么要先进行sum操作

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介: 在《动手学深度学习》第二版教程中,当y为非标量的时候,调用backward()函数时,为什么先要求和呢(即y.sum().backward()),估计很多读者有点懵,今天小编给大家说说我的理解。

在《动手学深度学习》第二版教程中,当y为非标量的时候,调用backward()函数时,为什么先要求和呢(即y.sum().backward()),估计很多读者有点懵,今天小编给大家说说我的理解。
一、导数
先说明一下向量的导数,假设y=f(x):
1、如果x是标量,y为标量,那么y对x的导数为标量。
2、如果x是标量,y为一维列向量,那么y对x的导数为1维列向量。此时可以转为两个标量函数分别求导,然后拼接。
image.png
3、如果x是1维行向量,y为标量,那么y对x的导数是1维行向量。
image.png
4、如果x是1维行向量,y为1维列向量,那么y对x的导数是2维矩阵。
image.png
二、backward()函数调用
2.1、当y为标量时
y=f(x),当y为标量时,可以直接调用y.backward()
1、假设x是标量,y为标量
image.png
2、假设x是1维行向量,y为标量
image.png
2.2、当y为向量时
当y为向量时,调用backward需要传入一个gradient参数。
image.png
image.png
所以y.sum().backward()等价于y.backward(torch.ones(len(x)))
image.png

小结。其实在深度学习中,损失函数都是标量,所以一般情况下我们可以直接调用backward()就可以了。

参考资料
1、《动手学深度学习》第二版,https://zh.d2l.ai/index.html

目录
相关文章
|
1月前
|
机器学习/深度学习 存储 PyTorch
Pytorch中in-place操作相关错误解析及detach()方法说明
Pytorch中in-place操作相关错误解析及detach()方法说明
41 0
|
1月前
|
机器学习/深度学习 PyTorch 算法框架/工具
9大PyTorch最重要的操作 !!
9大PyTorch最重要的操作 !!
32 0
|
6月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch应用实战一:实现卷积操作
PyTorch应用实战一:实现卷积操作
84 0
|
7月前
|
机器学习/深度学习 自然语言处理 PyTorch
【NLP】深入了解PyTorch:功能与基本元素操作
【NLP】深入了解PyTorch:功能与基本元素操作
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch基础之张量模块数据类型、基本操作、与Numpy数组的操作详解(附源码 简单全面)
PyTorch基础之张量模块数据类型、基本操作、与Numpy数组的操作详解(附源码 简单全面)
36 0
|
8月前
|
机器学习/深度学习 PyTorch 算法框架/工具
Pytorch学习笔记(1):基本概念、安装、张量操作、逻辑回归
Pytorch学习笔记(1):基本概念、安装、张量操作、逻辑回归
149 0
Pytorch学习笔记(1):基本概念、安装、张量操作、逻辑回归
|
1月前
|
机器学习/深度学习 PyTorch 调度
50个超强的Pytorch操作 ! ! !
50个超强的Pytorch操作 ! ! !
84 1
|
1月前
|
数据可视化 PyTorch 算法框架/工具
Pytorch中张量的高级选择操作
在某些情况下,我们需要用Pytorch做一些高级的索引/选择,所以在这篇文章中,我们将介绍这类任务的三种最常见的方法:torch.index_select, torch.gather and torch.take
39 0
|
2月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch的10个基本张量操作
PyTorch是一个基于python的科学计算包。它的灵活性允许轻松集成新的数据类型和算法,并且框架也是高效和可扩展的,下面我们将介绍一些Pytorch的基本张量操作。
76 1
|
4月前
|
机器学习/深度学习 PyTorch 算法框架/工具
PyTorch深度学习基础之Reduction归约和自动微分操作讲解及实战(附源码 超详细必看)
PyTorch深度学习基础之Reduction归约和自动微分操作讲解及实战(附源码 超详细必看)
51 0

热门文章

最新文章