python代码问题总结(上)

简介: python代码问题总结

1.问题解决:pycharm debug断点调试时遇到Pycharm DataLoader会卡死(num_works参数 多进程的坑点)

  • 把DataLoader中的参数num_workers 设为 0即可

https://blog.csdn.net/qq_43827595/article/details/113187052

2.pycharm 进行远程服务器代码的编写与调试

参考链接:

https://www.cnblogs.com/superjn/p/8624605.html

3.使用Conv2D时,内核大小可能是1或2个尺寸,以及原因是什么?

https://blog.csdn.net/qq_26369907/article/details/88366147

https://www.5axxw.com/questions/content/815xpy

4.Pytorch中contiguous()函数理解

·在pytorch中,只有很少几个操作是不改变tensor的内容本身,而只是重新定义下标与元素的对应关系·的。换句话说,这种操作不进行数据拷贝和数据的改变,变的是元数据。

·就是深拷贝,而已。

https://blog.csdn.net/kdongyi/article/details/108180250

5.3x3xc卷积的每个通道的九个参数一样吗?

  • 不一样

https://zhuanlan.zhihu.com/p/251068800

6.nn.conv1d?

  • nn.Conv1d(in_channels,out_channels,kernel_size,stride,padding,dilation,groups,bias)
    一维卷积,这里的一维不仅代表在一个维度上进行卷积,而且代表卷积的方向为一维
    接口内的参数:
  • in_channels:NLP任务中代表词向量的维度
  • out_channels:卷积产生的通道数,out_channels==卷积核的数量
  • kernel_size:卷积核尺寸,卷积核大小==(k,in_channels),这里卷积核的第二维度等于-in_channels
  • padding:输入的每一条边,补充0的层数
import torch.nn as nn
conv1=nn.Conv1d(in_channels=256,out_channels=100,kernel_size=2)
input=t.randn(32,35,256)    # 32--batch_size,35--sentence_length,256--embedding_dim
##输入的维度是:B,C,N
input=input.permute(0,2,1) # 一维卷积方向,只在宽度上卷积(高度是字向量维度),交换最后两个维度
out=conv1(input)    # 32 x 100 x (35-2+1)
print(out.size())
#输出
torch.Size([32, 100, 34])

注:输入-B,C,N ;输出-B,C2,N

参考链接:

https://blog.csdn.net/weixin_38664232/article/details/104464247

7.PyTorch的nn.Linear()

PyTorch的nn.Linear()是用于设置网络中的全连接层的,需要注意在二维图像处理的任务中,全连接层的输入与输出一般都设置为二维张量,形状通常为[batch_size, size],不同于卷积层要求输入输出是四维张量。其用法与形参说明如下

in_features指的是输入的二维张量的大小,即输入的[batch_size, size]中的size。

out_features指的是输出的二维张量的大小,即输出的二维张量的形状为[batch_size,output_size],当然,它也代表了该全连接层的神经元个数。

从输入输出的张量的shape角度来理解,相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。

import torch as t
from torch import nn
# in_features由输入张量的形状决定,out_features则决定了输出张量的形状 
connected_layer = nn.Linear(in_features = 64*64*3, out_features = 1)
# 假定输入的图像形状为[64,64,3]
input = t.randn(1,64,64,3)
# 将四维张量转换为二维张量之后,才能作为全连接层的输入
input = input.view(1,64*64*3)
print(input.shape)
output = connected_layer(input) # 调用全连接层
print(output.shape)

原文:

https://blog.csdn.net/qq_42079689/article/details/102873766

8.nn.conv2d?

9.pytorch中BatchNorm1d、BatchNorm2d?

nn.BatchNorm1d(num_features)-----注意第二维操作

 1.对小批量(mini-batch)的2d或3d输入进行批标准化(Batch Normalization)操作
 2.num_features:
        来自期望输入的特征数,该期望输入的大小为'batch_size x num_features [x width]'
        意思即输入大小的形状可以是'batch_size x num_features' 和 'batch_size x num_features x width' 都可以。
        (输入输出相同)
        输入Shape:(N, C)或者(N, C, L)
        输出Shape:(N, C)或者(N,C,L)
  eps:为保证数值稳定性(分母不能趋近或取0),给分母加上的值。默认为1e-5。
  momentum:动态均值和动态方差所使用的动量。默认为0.1。
  affine:一个布尔值,当设为true,给该层添加可学习的仿射变换参数。
3.在每一个小批量(mini-batch)数据中,计算输入各个维度的均值和标准差。gamma与beta是可学习的大小为C的参数向量(C为输入大小)
     在训练时,该层计算每次输入的均值与方差,并进行移动平均。移动平均默认的动量值为0.1。
     在验证时,训练求得的均值/方差将用于标准化验证数据。 

nn.BatchNorm2d(num_features)----注意第二维

 1.对小批量(mini-batch)3d数据组成的4d输入进行批标准化(Batch Normalization)操作
 2.num_features: 
           来自期望输入的特征数,该期望输入的大小为'batch_size x num_features x height x width'
           (输入输出相同)
               输入Shape:(N, C,H, W)
               输出Shape:(N, C, H, W)
     eps: 为保证数值稳定性(分母不能趋近或取0),给分母加上的值。默认为1e-5。
     momentum: 动态均值和动态方差所使用的动量。默认为0.1。
     affine: 一个布尔值,当设为true,给该层添加可学习的仿射变换参数。
 3.在每一个小批量(mini-batch)数据中,计算输入各个维度的均值和标准差。gamma与beta是可学习的大小为C的参数向量(C为输入大小)
  在训练时,该层计算每次输入的均值与方差,并进行移动平均。移动平均默认的动量值为0.1。
  在验证时,训练求得的均值/方差将用于标准化验证数据。

参考:

https://www.jianshu.com/p/6358d261ade8

10.pytorch topk 保持维度和位置 置零,实现mask功能?

import torch
import numpy as np
if __name__ == "__main__":
    x=torch.tensor(np.arange(1,25)).reshape(2,3,4)
    print(x)
    # k=2表示选择两个最大值
    a,_=x.topk(k=2,dim=2)
    # 要加上values,否则会得到一个包含values和indexs的对象
    a_min=torch.min(a,dim=-1).values
    # repeat里的4和x的最后一维相同
    a_min=a_min.unsqueeze(-1).repeat(1,1,4)
    ge=torch.ge(x,a_min)
    # 设置zero变量,方便后面的where操作
    zero=torch.zeros_like(x)
    result=torch.where(ge,x,zero)
    print(result)

输出是:

# 原矩阵
tensor([[[ 1,  2,  3,  4],
         [ 5,  6,  7,  8],
         [ 9, 10, 11, 12]],
        [[13, 14, 15, 16],
         [17, 18, 19, 20],
         [21, 22, 23, 24]]], dtype=torch.int32)
# 每个维度只保留两个最大值
tensor([[[ 0,  0,  3,  4],
         [ 0,  0,  7,  8],
         [ 0,  0, 11, 12]],
        [[ 0,  0, 15, 16],
         [ 0,  0, 19, 20],
         [ 0,  0, 23, 24]]], dtype=torch.int32)

https://blog.csdn.net/weixin_37763484/article/details/114109148

11.PyTorch——自注意力(self-attention)机制实现(代码详解)

https://blog.csdn.net/beilizhang/article/details/115282604

12.with torch.no_grad() 减少显存

模型训练的时候,,爆显存了,可以调整batch,对数据进行crop等等操作。

今天发现一个模型,训练ok,每次测试的时候爆显存。开始以为是因为用了全图(1920x1080略大)进行inference,这是一方面。但后来发现忘了用with torch.no_grad():这导致模型运算的时候不能释放显存(记录了梯度信息),所以显存巨大。加了之后,用了不过3G显存就够了。确实inference不需要那么多显存的,以后记着这种不正常现象如何处理。


一般训练不爆显存,测试也不会爆;训练时的显存占用远多于inference

注:验证集和测试集都要!!!!!!!!

  • 修改前
for train_data, train_label in  train_dataloader:
    do 
           trainning
then
for valid_data,valid_label in valid_dataloader:
    do 
            validtion

修改后:

for train_data, train_label in train_dataloader:
        do
            trainning
then
with torch.no_grad():
    for valid_data,valid_label in valid_dataloader:
            do
                validtion

https://www.jianshu.com/p/e8b9c59274a7

https://wstchhwp.blog.csdn.net/article/details/108405102?spm=1001.2101.3001.6650.5&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-5.no_search_link

13.实时监控GPU显存

watch nvidia-smi

14.torch.manual_seed(seed) → torch._C.Generator

  • 参数
    seed (int) – CPU生成随机数的种子。取值范围为[-0x8000000000000000, 0xffffffffffffffff],十进制是[-9223372036854775808, 18446744073709551615],超出该范围将触发RuntimeError报错
  • 返回
    返回一个torch.Generator对象。
  • 示例(设置随机种子)
# test.py
import torch
torch.manual_seed(0)
print(torch.rand(1)) # 返回一个张量,包含了从区间[0, 1)的均匀分布中抽取的一组随机数

每次运行test.py的输出结果都是一样:

tensor([0.4963])

示例(没有设置随机种子)

import torch
print(torch.rand(1)) # 返回一个张量,包含了从区间[0, 1)的均匀分布中抽取的一组随机数

每次运行test.py的输出结果都不相同:

tensor([0.2079])
----------------------------------
tensor([0.6536])
----------------------------------
tensor([0.2735])

https://blog.csdn.net/qq_42951560/article/details/112174334?utm_medium=distribute.pc_relevant.none-task-blog-2defaultbaidujs_title~default-1.no_search_link&spm=1001.2101.3001.4242.2

15.numpy.amin

  • 结果为每一行的最小值,可以使得所有值为正
>>> a = np.arange(4).reshape((2,2))
>>> a
array([[0, 1],
       [2, 3]])
>>> np.amin(a)           # Minimum of the flattened array
0
>>> np.amin(a, axis=0)   # Minima along the first axis

16.valueError: Unable to determine SOCKS version from socks://127.0.0.1:1080/”

在终端中输入:

unset all_proxy && unset ALL_PROXY
export all_proxy="socks5://127.0.0.1:1080"


宋wz
+关注
目录
打赏
0
0
0
0
4
分享
相关文章
|
4月前
|
时间序列异常检测:MSET-SPRT组合方法的原理和Python代码实现
MSET-SPRT是一种结合多元状态估计技术(MSET)与序贯概率比检验(SPRT)的混合框架,专为高维度、强关联数据流的异常检测设计。MSET通过历史数据建模估计系统预期状态,SPRT基于统计推断判定偏差显著性,二者协同实现精准高效的异常识别。本文以Python为例,展示其在模拟数据中的应用,证明其在工业监控、设备健康管理及网络安全等领域的可靠性与有效性。
682 13
时间序列异常检测:MSET-SPRT组合方法的原理和Python代码实现
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
121 5
从零复现Google Veo 3:从数据预处理到视频生成的完整Python代码实现指南
本文详细介绍了一个简化版 Veo 3 文本到视频生成模型的构建过程。首先进行了数据预处理,涵盖了去重、不安全内容过滤、质量合规性检查以及数据标注等环节。
98 5
从零复现Google Veo 3:从数据预处理到视频生成的完整Python代码实现指南
从零开始200行python代码实现LLM
本文从零开始用Python实现了一个极简但完整的大语言模型,帮助读者理解LLM的工作原理。首先通过传统方法构建了一个诗词生成器,利用字符间的概率关系递归生成文本。接着引入PyTorch框架,逐步重构代码,实现了一个真正的Bigram模型。文中详细解释了词汇表(tokenizer)、张量(Tensor)、反向传播、梯度下降等关键概念,并展示了如何用Embedding层和线性层搭建模型。最终实现了babyGPT_v1.py,一个能生成类似诗词的简单语言模型。下一篇文章将在此基础上实现自注意力机制和完整的GPT模型。
113 13
从零开始200行python代码实现LLM
200行python代码实现从Bigram模型到LLM
本文从零基础出发,逐步实现了一个类似GPT的Transformer模型。首先通过Bigram模型生成诗词,接着加入Positional Encoding实现位置信息编码,再引入Single Head Self-Attention机制计算token间的关系,并扩展到Multi-Head Self-Attention以增强表现力。随后添加FeedForward、Block结构、残差连接(Residual Connection)、投影(Projection)、层归一化(Layer Normalization)及Dropout等组件,最终调整超参数完成一个6层、6头、384维度的“0.0155B”模型
113 11
200行python代码实现从Bigram模型到LLM
把Postman调试脚本秒变Python采集代码的三大技巧
本文介绍了如何借助 Postman 调试工具快速生成 Python 爬虫代码,并结合爬虫代理实现高效数据采集。文章通过“跨界混搭”结构,先讲解 Postman 的 API 调试功能,再映射到 Python 爬虫技术,重点分享三大技巧:利用 Postman 生成请求骨架、通过 Session 管理 Cookie 和 User-Agent,以及集成代理 IP 提升稳定性。以票务信息采集为例,展示完整实现流程,探讨其在抗封锁、团队协作等方面的价值,帮助开发者快速构建生产级爬虫代码。
100 1
把Postman调试脚本秒变Python采集代码的三大技巧
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
本文探讨了基于图的重排序方法在信息检索领域的应用与前景。传统两阶段检索架构中,初始检索速度快但结果可能含噪声,重排序阶段通过强大语言模型提升精度,但仍面临复杂需求挑战
78 0
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
多模态RAG实战指南:完整Python代码实现AI同时理解图片、表格和文本
本文探讨了多模态RAG系统的最优实现方案,通过模态特定处理与后期融合技术,在性能、准确性和复杂度间达成平衡。系统包含文档分割、内容提取、HTML转换、语义分块及向量化存储五大模块,有效保留结构和关系信息。相比传统方法,该方案显著提升了复杂查询的检索精度(+23%),并支持灵活升级。文章还介绍了查询处理机制与优势对比,为构建高效多模态RAG系统提供了实践指导。
391 0
多模态RAG实战指南:完整Python代码实现AI同时理解图片、表格和文本
Python与MongoDB的亲密接触:从入门到实战的代码指南
本文详细介绍了Python与MongoDB结合使用的实战技巧,涵盖环境搭建、连接管理、CRUD操作、高级查询、索引优化、事务处理及性能调优等内容。通过15个代码片段,从基础到进阶逐步解析,帮助开发者掌握这对黄金组合的核心技能。内容包括文档结构设计、批量操作优化、聚合管道应用等实用场景,适合希望高效处理非结构化数据的开发者学习参考。
49 0
Python中的装饰器:简化代码,增强功能
在Python的世界里,装饰器是那些静悄悄的幕后英雄。它们不张扬,却能默默地为函数或类增添强大的功能。本文将带你了解装饰器的魅力所在,从基础概念到实际应用,我们一步步揭开装饰器的神秘面纱。准备好了吗?让我们开始这段简洁而富有启发性的旅程吧!
105 6

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问