1.问题解决：pycharm debug断点调试时遇到Pycharm DataLoader会卡死（num_works参数 多进程的坑点）
- 把DataLoader中的参数num_workers 设为 0即可
https://blog.csdn.net/qq_43827595/article/details/113187052
2.pycharm 进行远程服务器代码的编写与调试
参考链接：
https://www.cnblogs.com/superjn/p/8624605.html
3.使用Conv2D时，内核大小可能是1或2个尺寸，以及原因是什么？
https://blog.csdn.net/qq_26369907/article/details/88366147
https://www.5axxw.com/questions/content/815xpy
4.Pytorch中contiguous()函数理解
·在pytorch中，只有很少几个操作是不改变tensor的内容本身，而只是重新定义下标与元素的对应关系·的。换句话说，这种操作不进行数据拷贝和数据的改变，变的是元数据。
·就是深拷贝，而已。
https://blog.csdn.net/kdongyi/article/details/108180250
5.3x3xc卷积的每个通道的九个参数一样吗？
- 不一样
https://zhuanlan.zhihu.com/p/251068800
6.nn.conv1d？
- nn.Conv1d(in_channels,out_channels,kernel_size,stride,padding,dilation,groups,bias)
一维卷积，这里的一维不仅代表在一个维度上进行卷积，而且代表卷积的方向为一维
接口内的参数： - in_channels：NLP任务中代表词向量的维度
- out_channels：卷积产生的通道数，out_channels==卷积核的数量
- kernel_size：卷积核尺寸，卷积核大小==(k,in_channels)，这里卷积核的第二维度等于-in_channels
- padding：输入的每一条边，补充0的层数
import torch.nn as nn conv1=nn.Conv1d(in_channels=256,out_channels=100,kernel_size=2) input=t.randn(32,35,256) # 32--batch_size，35--sentence_length,256--embedding_dim ##输入的维度是：B,C,N input=input.permute(0,2,1) # 一维卷积方向，只在宽度上卷积（高度是字向量维度），交换最后两个维度 out=conv1(input) # 32 x 100 x (35-2+1) print(out.size()) #输出 torch.Size([32, 100, 34])
注：输入-B,C,N ；输出-B,C2,N
参考链接：
https://blog.csdn.net/weixin_38664232/article/details/104464247
7.PyTorch的nn.Linear（）
PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意在二维图像处理的任务中，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：
in_features指的是输入的二维张量的大小，即输入的[batch_size, size]中的size。
out_features指的是输出的二维张量的大小，即输出的二维张量的形状为[batch_size，output_size]，当然，它也代表了该全连接层的神经元个数。
从输入输出的张量的shape角度来理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。
import torch as t from torch import nn # in_features由输入张量的形状决定，out_features则决定了输出张量的形状 connected_layer = nn.Linear(in_features = 64*64*3, out_features = 1) # 假定输入的图像形状为[64,64,3] input = t.randn(1,64,64,3) # 将四维张量转换为二维张量之后，才能作为全连接层的输入 input = input.view(1,64*64*3) print(input.shape) output = connected_layer(input) # 调用全连接层 print(output.shape)
原文：
https://blog.csdn.net/qq_42079689/article/details/102873766
8.nn.conv2d？
nn.Conv2d(in_channels,out_channels,kernel_size,stride=1,padding=0,dilation=1,groups=1,bias=True)- 输入和输出格式：
https://blog.csdn.net/bigFatCat_Tom/article/details/91619977
9.pytorch中BatchNorm1d、BatchNorm2d？
nn.BatchNorm1d(num_features)-----注意第二维操作
1.对小批量(mini-batch)的2d或3d输入进行批标准化(Batch Normalization)操作 2.num_features： 来自期望输入的特征数，该期望输入的大小为'batch_size x num_features [x width]' 意思即输入大小的形状可以是'batch_size x num_features' 和 'batch_size x num_features x width' 都可以。 （输入输出相同） 输入Shape：（N, C）或者(N, C, L) 输出Shape：（N, C）或者（N，C，L） eps：为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。 momentum：动态均值和动态方差所使用的动量。默认为0.1。 affine：一个布尔值，当设为true，给该层添加可学习的仿射变换参数。 3.在每一个小批量（mini-batch）数据中，计算输入各个维度的均值和标准差。gamma与beta是可学习的大小为C的参数向量（C为输入大小） 在训练时，该层计算每次输入的均值与方差，并进行移动平均。移动平均默认的动量值为0.1。 在验证时，训练求得的均值/方差将用于标准化验证数据。
nn.BatchNorm2d(num_features)----注意第二维
1.对小批量(mini-batch)3d数据组成的4d输入进行批标准化(Batch Normalization)操作 2.num_features： 来自期望输入的特征数，该期望输入的大小为'batch_size x num_features x height x width' （输入输出相同） 输入Shape：（N, C，H, W) 输出Shape：（N, C, H, W） eps： 为保证数值稳定性（分母不能趋近或取0）,给分母加上的值。默认为1e-5。 momentum： 动态均值和动态方差所使用的动量。默认为0.1。 affine： 一个布尔值，当设为true，给该层添加可学习的仿射变换参数。 3.在每一个小批量（mini-batch）数据中，计算输入各个维度的均值和标准差。gamma与beta是可学习的大小为C的参数向量（C为输入大小） 在训练时，该层计算每次输入的均值与方差，并进行移动平均。移动平均默认的动量值为0.1。 在验证时，训练求得的均值/方差将用于标准化验证数据。
参考：
https://www.jianshu.com/p/6358d261ade8
10.pytorch topk 保持维度和位置 置零,实现mask功能?
import torch import numpy as np if __name__ == "__main__": x=torch.tensor(np.arange(1,25)).reshape(2,3,4) print(x) # k=2表示选择两个最大值 a,_=x.topk(k=2,dim=2) # 要加上values，否则会得到一个包含values和indexs的对象 a_min=torch.min(a,dim=-1).values # repeat里的4和x的最后一维相同 a_min=a_min.unsqueeze(-1).repeat(1,1,4) ge=torch.ge(x,a_min) # 设置zero变量，方便后面的where操作 zero=torch.zeros_like(x) result=torch.where(ge,x,zero) print(result)
输出是：
# 原矩阵 tensor([[[ 1, 2, 3, 4], [ 5, 6, 7, 8], [ 9, 10, 11, 12]], [[13, 14, 15, 16], [17, 18, 19, 20], [21, 22, 23, 24]]], dtype=torch.int32) # 每个维度只保留两个最大值 tensor([[[ 0, 0, 3, 4], [ 0, 0, 7, 8], [ 0, 0, 11, 12]], [[ 0, 0, 15, 16], [ 0, 0, 19, 20], [ 0, 0, 23, 24]]], dtype=torch.int32)
https://blog.csdn.net/weixin_37763484/article/details/114109148
11.PyTorch——自注意力（self-attention）机制实现（代码详解）
https://blog.csdn.net/beilizhang/article/details/115282604
12.with torch.no_grad() 减少显存
模型训练的时候，，爆显存了，可以调整batch，对数据进行crop等等操作。
今天发现一个模型，训练ok，每次测试的时候爆显存。开始以为是因为用了全图（1920x1080略大）进行inference，这是一方面。但后来发现忘了用with torch.no_grad():这导致模型运算的时候不能释放显存（记录了梯度信息），所以显存巨大。加了之后，用了不过3G显存就够了。确实inference不需要那么多显存的，以后记着这种不正常现象如何处理。
一般训练不爆显存，测试也不会爆；训练时的显存占用远多于inference
注：验证集和测试集都要！！！！！！！！
- 修改前
for train_data, train_label in train_dataloader: do trainning then for valid_data,valid_label in valid_dataloader: do validtion
修改后：
for train_data, train_label in train_dataloader: do trainning then with torch.no_grad(): for valid_data,valid_label in valid_dataloader: do validtion
https://www.jianshu.com/p/e8b9c59274a7
13.实时监控GPU显存
watch nvidia-smi
14.torch.manual_seed(seed) → torch._C.Generator
- 参数
seed (int) – CPU生成随机数的种子。取值范围为[-0x8000000000000000, 0xffffffffffffffff]，十进制是[-9223372036854775808, 18446744073709551615]，超出该范围将触发RuntimeError报错
- 返回
返回一个torch.Generator对象。 - 示例（设置随机种子）
# test.py import torch torch.manual_seed(0) print(torch.rand(1)) # 返回一个张量，包含了从区间[0, 1)的均匀分布中抽取的一组随机数
每次运行test.py的输出结果都是一样：
tensor([0.4963])
示例（没有设置随机种子）
import torch print(torch.rand(1)) # 返回一个张量，包含了从区间[0, 1)的均匀分布中抽取的一组随机数
每次运行test.py的输出结果都不相同：
tensor([0.2079]) ---------------------------------- tensor([0.6536]) ---------------------------------- tensor([0.2735])
15.numpy.amin
- 结果为每一行的最小值，可以使得所有值为正
>>> a = np.arange(4).reshape((2,2)) >>> a array([[0, 1], [2, 3]]) >>> np.amin(a) # Minimum of the flattened array 0 >>> np.amin(a, axis=0) # Minima along the first axis
16.valueError: Unable to determine SOCKS version from socks://127.0.0.1:1080/”
在终端中输入：
unset all_proxy && unset ALL_PROXY export all_proxy="socks5://127.0.0.1:1080"
