python代码问题总结(下)

简介: python代码问题总结

17.linux下conda安装opencv?

  • 比较坑的一点conda install opencv,安装成功了,但是import cv2一直失败,查看conda list,确实安装了3.4.1版本,虚拟环境:python=3.6
  • 解决:重新创建虚拟环境,python=3.7,然后conda install opencv即可,默认版本3.4.2
  • 注:原来是python版本导致的,或者3.4.1版本导致的

18.python语法…

…的使用

Numpy 中可以用来选数据
>>> import numpy as np
>>> a = [[1,2,3,4,5,6,7],[8,9,10,11]]
>>> b = np.array(a)
>>> b[1,...]
array(list([8, 9, 10, 11]), dtype=object)
这个看不出什么特殊性来。换一个稍微复杂点的。
>>> d = np.array([[[i + 2*j + 8*k for i in range(3)] for j in range(3)] for k in range(3)])
>>> d
array([[[ 0, 1, 2],
[ 2, 3, 4],
[ 4, 5, 6]],
[[ 8, 9, 10],
[10, 11, 12],
[12, 13, 14]],
[[16, 17, 18],
[18, 19, 20],
[20, 21, 22]]])
>>> d[1,...]
array([[ 8, 9, 10],
[10, 11, 12],
[12, 13, 14]])
>>> d[...,1]
array([[ 1, 3, 5],
[ 9, 11, 13],
[17, 19, 21]])
>>> d[1,...,1]
array([ 9, 11, 13])
>>>

19.visio插入数学公式

  • 1.打开word,插入数学公式
  • 2.复制
  • 3.在visio中右击—选择性黏贴—Microsoft word文档
  • 4.最后还可使用Ctrl+G将框图和公式组合到一起,这样移动时两个一起移动,更方便些。

19.1 将word中编辑好的公式复制到Visio中出现乱码问题?

在Visio(点击 选项 --> 高级 --> 显示 ->勾选禁用增强元文件优化)

20.SharedArray.create 导致 tmpfs 100%

/dev/shm 默认大小为物理内存的一半,如果需要调整大小,可以修改 /etc/fstab

# df -hT
Filesystem              Type      Size  Used Avail Use% Mounted on
devtmpfs                devtmpfs  2.0G     0  2.0G   0% /dev
tmpfs                   tmpfs     2.0G   52K  2.0G   1% /dev/shm
tmpfs                   tmpfs     2.0G  9.0M  2.0G   1% /run
tmpfs                   tmpfs     2.0G     0  2.0G   0% /sys/fs/cgroup
/dev/mapper/centos-root xfs        47G   20G   28G  42% /
/dev/sda1               xfs      1014M  161M  854M  16% /boot
tmpfs                   tmpfs     396M   12K  396M   1% /run/user/42
tmpfs                   tmpfs     396M     0  396M   0% /run/user/0

sudo -i password

vi /etc/fstab

tmpfs                   /dev/shm                tmpfs   defaults,size=2560M        0 0

最后重启即可,然后利用df -lh命令查看

https://blog.csdn.net/ctypyb2002/article/details/107914643

21.pytorch计算flops和paramas

1、安装Thop

pip install thop

2、代码使用

1)直接输出

import thop
from thop import profile
# 定义好的网络模型
input = torch.randn(1, 3, 224, 224)
flops, params = profile(Model,inputs=(input, ))
print('flops: ', flops, 'params: ', params)

这样的直接输出会让数据可比较性很弱,还需要自己转化单位【有点麻烦,不太推荐!】

2)使用thop.clever_format

from thop import clever_format
# 定义好的网络模型
input = torch.randn(1, 3, 224, 224)
flops, params = profile(Model,inputs=(input, ))
flops, params = clever_format([flops, params], "%.3f")  #这个就是与上面的差异哈!!!
print('flops: ', flops, 'params: ', params)

加上这样简单的一句话后,真的输入结果看上去太舒服了。

原文链接:https://blog.csdn.net/qq_37844044/article/details/119644941

22.PyCharm远程运行调试代码

https://zhuanlan.zhihu.com/p/38591832

23.subprocess.CalledProcessError: Command ‘[‘ninja’, ‘-v’]’ returned non-zero exit status 1.

问题:

Traceback (most recent call last):
  File "/.../lib/python3.6/site-packages/torch/utils/cpp_extension.py", line 949, in _build_extension_module
    check=True)
  File "/.../lib/python3.6/subprocess.py", line 438, in run
    output=stdout, stderr=stderr)
subprocess.CalledProcessError: Command '['ninja', '-v']' returned non-zero exit status 1.

解决:…/lib/python3.6/site-packages/torch/utils/cpp_extension.py

即:-v 改成 --version

注:vim快速定位:/‘ninja’

24.torch.nn.CrossEntropyLoss()

https://zhuanlan.zhihu.com/p/159477597

25.F.cross_entropy()

https://blog.csdn.net/wuliBob/article/details/104119616

26.pytorch|optimizer与学习率

https://lhyxx.top/2020/02/11/pytorch-optimizer%E4%B8%8E%E5%AD%A6%E4%B9%A0%E7%8E%87/

27.without bells and whistles 深度学习

https://blog.csdn.net/u013249853/article/details/84786730

28.element-wise product = element-wise  multiplication = Hadamard product?

含义:两个矩阵对应位置元素进行乘积

https://www.zhihu.com/question/432693995

29.迁移anaconda虚拟环境到新服务器+解决迁移后pip无法使用

1.迁移anaconda虚拟环境到新服务器

如果你有一个台机A不能联网,另一台机B可以联网,但需要在不能联网的A上运行代码,需要一些库。那么可以在A上离线安装Anaconda,在B上配置上虚拟环境,移动到A上。

  • 安装Ananconda,官网下载安装包,ssh传到A上并安装,同时B也应该安装好,两机anaconda安装包无需一致,但需要同类系统Linux or Win)。
  • 在B上创建虚拟环境py36(取名随意),在虚拟环境中安装需要的库。
  • 前往B的anaconda目录,找到envs文件夹,
  • ,对py36文件夹进行压缩。tar -czvf py36.tar.gz py3将压缩包传输到A,解压,放至anaconda/envs目录下。

2.解决迁移后pip无法使用

这一步完成后,基本上你需要的库都安装在A机上了,但是!如果你又加上了其他的项目,有1,2个库需要安装怎么办呢?

  • 先使用pip download <package_names>,在有网络的机子(B)上下载,库安装包,然后上传到A上。
  • 比如opencvpip download opencv-python,得到文件opencv_python-4.2.0.32-cp36-cp36m-manylinux1_x86_64.whl上传至A。
  • 这时在A上切换虚拟环境,pip install opencv_python-4.2.0.32-cp36-cp36m-manylinux1_x86_64.whl进行安装。
  • 这里会报一个错误-bash: /home/computer_a/anaconda3/envs/torch/bin/pip: /home/computer_b/anaconda3/envs/torch/bin/python: bad interpreter: No such file or directory。这是因为A机的pip路径是拷贝过来的,还是原来B机的python路径,修改即可。
  • 方法:打开/home/computer_a/anaconda3/envs/torch/bin/pip,将第一行路径改为/home/computer_b/anaconda3/envs/torch/bin/python
  • 原文链接:https://blog.csdn.net/weixin_44633882/article/details/105308120

30.pip install 时报错 ERROR: Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问?

在pip install 后面加上 --user + 需要安装的包名
如:pip install --user imblearn

31.Pycharm退出pytest模式(run pytest in模式)?

1.方法1:

要退出这种模式,

  • 第一步:点击顶部运行键——选择‘Edit configuration’,
  • 第二步:可以看到左侧Python下有两个文件夹,如果进入了test模式,就会有‘Python test’一栏,
  • 第三步:选定Python test,这时点击上面的‘-’号去掉这栏下的文件即可。
  • 然后确定,再次右键代码,就可以执行run模式了

2.方法二

可以进入File-settings-tools-python integrated tools里面修改,选择unittest修改后记得应用一下

参考下图:

参考链接:https://blog.csdn.net/u011318077/article/details/88090830

宋wz
+关注
目录
打赏
0
0
0
0
4
分享
相关文章
|
4月前
|
时间序列异常检测:MSET-SPRT组合方法的原理和Python代码实现
MSET-SPRT是一种结合多元状态估计技术(MSET)与序贯概率比检验(SPRT)的混合框架,专为高维度、强关联数据流的异常检测设计。MSET通过历史数据建模估计系统预期状态,SPRT基于统计推断判定偏差显著性,二者协同实现精准高效的异常识别。本文以Python为例,展示其在模拟数据中的应用,证明其在工业监控、设备健康管理及网络安全等领域的可靠性与有效性。
685 13
时间序列异常检测:MSET-SPRT组合方法的原理和Python代码实现
【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句
本文介绍了使用Python Pandas处理数据收集任务中格式不统一的问题。针对两种情况:服务名对应多人拥有状态(1/0表示),以及服务名与人名重复列的情况,分别采用双层for循环和字典数据结构实现数据转换,最终生成Name对应的Services列表(逗号分隔)。此方法高效解决大量数据的人工处理难题,减少错误并提升效率。文中附带代码示例及执行结果截图,便于理解和实践。
122 4
从零复现Google Veo 3:从数据预处理到视频生成的完整Python代码实现指南
本文详细介绍了一个简化版 Veo 3 文本到视频生成模型的构建过程。首先进行了数据预处理,涵盖了去重、不安全内容过滤、质量合规性检查以及数据标注等环节。
107 5
从零复现Google Veo 3:从数据预处理到视频生成的完整Python代码实现指南
从零开始200行python代码实现LLM
本文从零开始用Python实现了一个极简但完整的大语言模型,帮助读者理解LLM的工作原理。首先通过传统方法构建了一个诗词生成器,利用字符间的概率关系递归生成文本。接着引入PyTorch框架,逐步重构代码,实现了一个真正的Bigram模型。文中详细解释了词汇表(tokenizer)、张量(Tensor)、反向传播、梯度下降等关键概念,并展示了如何用Embedding层和线性层搭建模型。最终实现了babyGPT_v1.py,一个能生成类似诗词的简单语言模型。下一篇文章将在此基础上实现自注意力机制和完整的GPT模型。
126 14
从零开始200行python代码实现LLM
200行python代码实现从Bigram模型到LLM
本文从零基础出发,逐步实现了一个类似GPT的Transformer模型。首先通过Bigram模型生成诗词,接着加入Positional Encoding实现位置信息编码,再引入Single Head Self-Attention机制计算token间的关系,并扩展到Multi-Head Self-Attention以增强表现力。随后添加FeedForward、Block结构、残差连接(Residual Connection)、投影(Projection)、层归一化(Layer Normalization)及Dropout等组件,最终调整超参数完成一个6层、6头、384维度的“0.0155B”模型
119 11
200行python代码实现从Bigram模型到LLM
把Postman调试脚本秒变Python采集代码的三大技巧
本文介绍了如何借助 Postman 调试工具快速生成 Python 爬虫代码,并结合爬虫代理实现高效数据采集。文章通过“跨界混搭”结构,先讲解 Postman 的 API 调试功能,再映射到 Python 爬虫技术,重点分享三大技巧:利用 Postman 生成请求骨架、通过 Session 管理 Cookie 和 User-Agent,以及集成代理 IP 提升稳定性。以票务信息采集为例,展示完整实现流程,探讨其在抗封锁、团队协作等方面的价值,帮助开发者快速构建生产级爬虫代码。
103 1
把Postman调试脚本秒变Python采集代码的三大技巧
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
本文探讨了基于图的重排序方法在信息检索领域的应用与前景。传统两阶段检索架构中,初始检索速度快但结果可能含噪声,重排序阶段通过强大语言模型提升精度,但仍面临复杂需求挑战
85 0
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
多模态RAG实战指南:完整Python代码实现AI同时理解图片、表格和文本
本文探讨了多模态RAG系统的最优实现方案,通过模态特定处理与后期融合技术,在性能、准确性和复杂度间达成平衡。系统包含文档分割、内容提取、HTML转换、语义分块及向量化存储五大模块,有效保留结构和关系信息。相比传统方法,该方案显著提升了复杂查询的检索精度(+23%),并支持灵活升级。文章还介绍了查询处理机制与优势对比,为构建高效多模态RAG系统提供了实践指导。
426 0
多模态RAG实战指南:完整Python代码实现AI同时理解图片、表格和文本
Python与MongoDB的亲密接触:从入门到实战的代码指南
本文详细介绍了Python与MongoDB结合使用的实战技巧,涵盖环境搭建、连接管理、CRUD操作、高级查询、索引优化、事务处理及性能调优等内容。通过15个代码片段,从基础到进阶逐步解析,帮助开发者掌握这对黄金组合的核心技能。内容包括文档结构设计、批量操作优化、聚合管道应用等实用场景,适合希望高效处理非结构化数据的开发者学习参考。
55 0
Python中的装饰器:简化代码,增强功能
在Python的世界里,装饰器是那些静悄悄的幕后英雄。它们不张扬,却能默默地为函数或类增添强大的功能。本文将带你了解装饰器的魅力所在,从基础概念到实际应用,我们一步步揭开装饰器的神秘面纱。准备好了吗?让我们开始这段简洁而富有启发性的旅程吧!
105 6

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等