PyTorch

首页 标签 PyTorch
# PyTorch #
关注
5046内容
|
2月前
| |
来自: 云原生
模型能装进显存,训练为什么还是 OOM?把 PyTorch 显存拆成 5 笔账
模型权重能够装进显存,不代表训练就能正常运行。本文拆解 PyTorch 训练中的参数、梯度、优化器状态、激活值和临时工作区,并给出显存监测代码及 OOM 排查顺序,覆盖梯度累积、混合精度、Gradient Checkpointing 和 LoRA 等常用方案。
从 FP32 到 INT4:基于 GPTQ 的大模型量化实战——以 Llama-2-7B 为例
本文详述一次真实Llama-2-7B模型量化实战:从28GB显存压缩至6GB(INT4-GPTQ),精度损失仅约7.3%,推理速度反提升50%。含环境配置、量化代码、精度评测及五大避坑指南,全流程可复现。(239字)
|
2月前
| |
RTX4090单卡跑Qwen3-32B实践:4bit量化+Transformers与vLLM双方案部署差异.193
本文详解RTX4090(24GB显存)部署Qwen3-32B大模型的实战方案:聚焦4bit量化(NF4+双量化)突破显存瓶颈,对比Transformers与vLLM框架——后者推理快2倍、显存利用率更高,实测生成质量无损,为消费级显卡运行32B模型提供可落地的最优解。
2026年5个PCB缺陷检测开源软件测评:从能力与场景匹配度看选型
本文梳理五个 PCB 缺陷检测开源项目,覆盖图像批检、实时视频流、X-Ray 焊点处理、YOLO/Faster R-CNN 训练及 Jetson 边缘推理等路径。读者可结合缺陷对象、数据标注格式、算力条件、部署环境与运维需求,匹配适合自身产线验证和研发迭代的方案。
ComfyUI电脑版EXE文件下载、安装、配置、使用全流程图解,点击可直接运行
ComfyUI是Stable Diffusion最流行的可视化工作流工具,以节点连线方式精准控制文生图、图生图、ControlNet等全流程。官方推出免命令行的Comfy Desktop桌面版,内置环境,一键安装启动,新手也能快速上手。(239字)
聚搜云服务器专业团队:PAI-DSW 怎么配置,才能顺畅运行开源大模型?
手搓一套能跑通大模型实验的环境,常常卡在CUDA版本、驱动兼容、PyTorch编译这些体力活上,消磨掉的耐心比调参还多。阿里云PAI-DSW搭建大模型环境的逻辑正好反过来——它把算力、镜像、存储和分布式工具整合成云端工作台,让环境准备不再是门槛。本系列将拆解从实例创建到模型部署的完整步骤。
|
3月前
| |
全新服务器大模型部署进阶:RTX 4090显卡驱动安装与模型运行容错适配指南.176
本文详解在openEuler 22.03服务器上适配RTX 4090显卡的完整流程:涵盖系统与内核信息查询、硬件识别、禁用Nouveau驱动、编译安装NVIDIA官方驱动(含常见报错排查)、PyTorch GPU环境部署(含国内镜像加速与依赖冲突修复),以及中文字体安装解决可视化乱码问题,全流程贴合真实运维场景。
|
3月前
| |
新服务器从0到1完整部署实践:openEuler环境搭建ChatGLM2大模型完整流程.175
本文详述基于openEuler 22.03的Dell PowerEdge R740服务器从零部署大模型服务全流程:涵盖硬件核查、多网卡精准识别与静态IP配置、Python 3.11源码编译安装、PyTorch/Transformers/ModelScope等依赖适配、FastAPI接口搭建及防火墙放行,附典型报错解析与标准化解决方案,助新手快速落地。
英伟达三代旗舰显卡性能测试:5090、4090、3090
本文通过ResNet-50模型在CIFAR-10数据集上的PyTorch训练实测,对比RTX 3090/4090/5090三代旗舰显卡性能。结果显示:5090单精/混精吞吐达1076/1822 samples/s,较4090提升约50%,4090较3090提升约45%,为深度学习选卡提供实证参考。
免费试用