显存计算与模型选择:你的显卡能跑多大的模型

简介: 本篇直击本地部署核心痛点:显存不够?模型选错?用公式(权重+KV Cache+开销)教你精准估算,附8/12/16/24/48GB显存档位经验表,明确给出“24G甜点是32B Q4_K_M”,告别OOM玄学。

显存计算与模型选择:你的显卡能跑多大的模型

本篇解决本地部署里被问烂的问题:跑一个模型到底要多少显存?我这块卡能跑多大的模型? 如果你刚装好 NVIDIA 驱动或 Ollama,面对一堆 7B/14B/32B/70B 不知道选哪个,或者已经被 "CUDA out of memory" 撞过墙,这篇给你一套公式、一张各显存档位经验表,外加「24G 显存能跑什么」的直接答案。读完你能对着任意模型自己估算显存,不再靠玄学。

在这里插入图片描述

一、为什么需要它

「显存不足」是本地部署第一大报错,"24G 显存能跑什么模型""7B 模型要多少显存" 的搜索量非常大。多数人卡在的其实不是安装环节,而是选模型环节:选大了,加载瞬间 OOM;选小了,效果不满意。而模型页面上孤零零的 "参数量 7B" 并不能直接告诉你它实际要占多少显存——因为显存 ≠ 权重文件大小,KV Cache 和框架开销都是隐藏的。

我一般这样劝刚入坑的朋友:先花 5 分钟学会估算,再动手下载几十 GB 的文件,否则大概率是白下。两个真实场景你大概率会撞上:一是兴冲冲下了个 70B 模型,加载瞬间报 "CUDA out of memory",几十 GB 硬盘空间白占;二是保守地选了 7B Q4,结果模型能力不够用,才回头发现 24G 的卡明明能跑 32B。这两个方向的错误,本质上都是没把显存账算清楚。

本篇做三件事:

  1. 给核心公式(权重显存 ≈ 参数量 × 每参数字节数)加两个隐藏项(KV Cache、框架开销),让你能心算;
  2. 给单卡各显存档位经验表(8/12/16/24/48/96GB 各能跑什么,全部标注经验值);
  3. 直接回答高频问题 24G 显存能跑什么,以及单卡不够时怎么用多卡与 CPU offload。

二、环境要求

项目 要求 检查方式
NVIDIA GPU 任意,显存 4GB 起步,8GB+ 体验 7B Q4 才舒适 nvidia-smi 能出表
驱动 较新的游戏驱动(Windows)或专有驱动(Linux) nvidia-smi 首行驱动版本
推理框架 Ollama(最简单)或 PyTorch + transformers / llama.cpp ollama list / python -c "import torch"
系统 Windows 10/11、Linux 或 WSL2 —
物理内存 若考虑 CPU offload,建议 ≥ 模型文件大小 1.5 倍 任务管理器 / free -h

先分清两个概念:显存(GPU 显存)装权重和 KV Cache,速度极快;物理内存(RAM)在显存不够时被 CPU offload 借用,速度慢得多。nvidia-smi 只显示显存占用,所以看到"装不下"时要先分清到底是显存不够还是物理内存不够(WSL2 上尤其常见,见第六节第 7 条)。

动手前先跑一次 nvidia-smi 确认三件事:显卡型号与总显存、驱动支持的最高 CUDA 版本、当前有没有进程占着显存。注意右上角那个 "CUDA Version" 是驱动支持的上限,不是已安装 Toolkit 的版本,别被它误导。如果你还没装驱动或框架,先回到《AI-01 CUDA与N卡驱动安装》和《AI-02 PyTorch安装与验证》把地基打好,本篇只负责"算账"。

三、显存估算:三步法

3.1 第一步:权重要占多少显存(核心公式)

权重显存 ≈ 参数量(B) × 每参数字节数。

精度不同,每参数字节数不同:fp16/bf16 = 2 字节、int8 = 1 字节、int4 = 0.5 字节。以 7B 模型为例:

精度 每参数字节 7B 权重显存
fp16 / bf16 2 B ≈ 14-15 GB
int8(Q8) 1 B ≈ 7-8 GB
int4(Q4) 0.5 B ≈ 4-5 GB

在这之上还要加 10-20% 的框架/词表/优化器开销,估算时直接乘 1.1~1.2。举例:7B Q4 权重 ≈ 4.5 GB,加上开销后,光"装下权重"就要 5 GB 出头。

为什么是"≈"不是"=":量化文件里有缩放因子、块元数据等,实际文件总比纯算的大一点;不同框架开销也不同。本文统一按量级估算,以模型页面标注的文件大小为下限更稳。

3.2 第二步:KV Cache 要占多少

KV Cache 是模型生成时记下的"上下文笔记",随上下文长度和并发数增长,是很多人估算翻车的隐藏项。量级参考(随架构而异,只给量级):7B 模型 4K 上下文、单并发时 KV 约 0.5-1.5 GB,量化模型更小。这意味着:

  • 短上下文(2-4K)、单人使用:预留 1-2 GB 就够;
  • 长上下文(16-32K)或多并发对外服务(vLLM/Ollama):KV Cache 能轻松吃掉几个 GB,这是"我算好了 20G 怎么还 OOM"的常见原因。

一个直观的感受:同一个 7B Q4 模型,上下文从 4K 拉到 32K,KV Cache 大致翻 8 倍。所以"能装下"和"能用"之间,隔的就是这个变量。

做并发服务时 vLLM 的 PagedAttention 能把 KV 分页、减少碎片,详见《AI-13 vLLM 高吞吐推理引擎》。

3.3 第三步:写出完整预算

所需显存 ≈ 权重显存 ×1.1~1.2 + KV Cache + 0.5-1 GB 系统/框架底噪。

完整示例:7B Q4_K_M、4K 上下文:4.5×1.15 + 1 + 0.5 ≈ 7 GB——8GB 卡跑它舒适,但没有长上下文的余量了。下面第四节的经验表就是按这个公式批量推出来的。

3.4 量化位宽怎么选:Q4_K_M 是甜点

GGUF 家族位宽从低到高:Q2_K / Q3_K_M / Q4_K_M / Q5_K_M / Q6_K / Q8_0。以 7B 计,Q8_0 约 7-8 GB,Q4 约 4-5 GB。

Q4_K_M 是"精度-体积"的甜点:日常问答场景里,它与 int8 的差距多数人感觉不出来,体积却只有 Q8 的一半,Ollama 里很多模型的默认量化就是它。我的经验是:显存够就往高位宽选;不够就按 Q8 → Q6_K → Q5_K_M → Q4_K_M 逐级降;降到 Q3_K 及以下,乱码、复读的概率明显上升(排查思路见第六节第 3 条)。GPTQ/AWQ/bitsandbytes 这些非 GGUF 量化的完整对比,详见《AI-14 模型量化完全指南》。装 Ollama 拉取带量化后缀的模型(如 qwen2.5:7b),详见《AI-07 Ollama本地部署大模型》。

四、模型选择:经验表与实测验证

4.1 单卡各显存档位经验表(经验值)

下表是单卡经验值,口径是"含 KV、能跑起来的下限",不是严格承诺,长上下文请按低一档对待:

显存 舒适档 勉强档(短上下文)
8 GB 7B int4 13B int4
12 GB 13B int4 14B int4
16 GB 14B int8 32B int4
24 GB 32B int4 70B int4(极短上下文,CPU offload 不实用)
48 GB 70B int4 —
96 GB(A6000/A100) 70B int8 / 混合精度可玩 —

4.2 「24G 显存能跑什么?」——直接给答案表

模型 量化 权重显存 结论
7B/8B(Llama 3.1 8B、Qwen2.5 7B 等) Q8_0 / fp16 8-15 GB 非常舒适,可开长上下文
14B(Qwen2.5 14B) Q4_K_M / int8 8-15 GB 舒适
32B(Qwen2.5 32B) Q4_K_M 约 20 GB 舒适(含 KV)
70B(Llama 3.3 70B、Qwen2.5 72B) Q4_K_M 约 40 GB+ 勉强:大量层 offload 到 CPU,速度掉到个位数 tokens/s,不实用

一句话总结:24G 的甜点是 32B Q4_K_M,跑 14B 开长上下文也很舒服;70B 只能靠 offload "能跑",不值得。

给其他档位的速答:8G 选 7B Q4_K_M,把上下文压在 4K 以内;12G 直接上 13B/14B Q4;16G 要么 14B int8 保质量,要么 32B Q4 保尺寸,二选一;48G(专业卡)是 70B Q4 的舒适区;96G(A6000/A100)可以直接玩 70B int8,质量接近 fp16。如果你在做 Ollama 选型,对应到模型名就是 qwen2.5:7b、qwen2.5:14b、qwen2.5:32b 这一族(具体可用规格以 ollama.com/library 页面实时为准)。

4.3 验证:把估算和实测对一遍

估算值对不对,最可靠的方式是装完模型后看实际显存:

nvidia-smi

预期:显存列 "Used" ≈ 权重文件大小 ×1.1~1.2 + KV(对话进行中时)。用 Ollama 的话还可以看模型加载详情:

ollama ps

预期:输出已加载模型一行,含显存占用与 GPU/CPU 分层情况。若实测明显大于你的估算,先怀疑两件事:你开的上下文长度、同时进行的会话数。

五、进阶技巧

  1. 多卡切分:PyTorch 侧用 accelerate 的 device_map="auto" 可把权重自动切分到多张卡,显存加总后能跑更大的模型;vLLM 用 --tensor-parallel-size 做多卡张量并行(详见《AI-13 vLLM 高吞吐推理引擎》)。
  2. Ollama 自动层卸载:显存不够时 Ollama 会自动把装不下的层卸载到 CPU,ollama ps 里能看到 GPU/CPU 分层比例,num_gpu 参数可控制放多少层进显存。注意 offload 后速度受 CPU 内存带宽限制,70B 全 offload 通常只剩个位数 tokens/s,"能跑"不等于"实用"。 判断标准很简单:如果大部分推理时间都花在 CPU 上,生成速度会比纯 GPU 慢一个数量级以上,日常对话体验会明显"卡"。所以 offload 的正确定位是体验降级方案——机器只有 16G 显存但你就是想试试 32B/70B 的效果,用它;追求流畅,老老实实选 24G 档内的模型。
  3. 上下文就是显存:不处理长文档就别默认开 32K 上下文;服务场景用 vLLM 的 --max-model-len 把上限钉死,KV Cache 才能可控。

六、故障排查(按层定位)

# 症状(报错原文) 层 原因 解决
1 torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate ... 显存 模型/上下文/批处理太大 nvidia-smi 查谁占着显存;降量化位宽(Q8→Q4);降上下文长度;关掉后台占卡进程
2 vLLM:ValueError: Free GPU memory ... less than desired GPU memory utilization 显存 gpu-memory-utilization 设太高或显存被占 降到 --gpu-memory-utilization 0.85;先 nvidia-smi 清掉占用
3 模型加载成功但输出乱码、重复 量化 位宽过低(Q2/Q3)或 tokenizer 不匹配 升到 Q4_K_M 及以上;确认权重与 tokenizer 来自同一个 repo
4 CUDA error: no kernel image is available for execution on the device 框架/CUDA PyTorch 编译的 CUDA 与显卡架构不匹配 换与显卡匹配的 PyTorch wheel(用 pytorch.org 选择器)
5 CUDA driver version is insufficient for CUDA runtime version 驱动 驱动低于框架所需 CUDA 升级 NVIDIA 驱动(只升 Toolkit 没用)
6 torch.cuda.is_available() 返回 False 框架/驱动 装了 CPU 版 PyTorch,或驱动过老 重装对应 cuXXX 版 wheel;升级驱动
7 Linux 上进程突然 Killed,dmesg 出现 oom-kill 内存(RAM) 物理内存不足(CPU offload 场景),不是显存 WSL2 在 .wslconfig 加 swap=;降模型尺寸或并发

七、本篇自检清单

  • [ ] 能背出核心公式:权重显存 ≈ 参数量(B) × 每参数字节数(fp16=2B、int8=1B、int4=0.5B),再加 10-20% 框架开销
  • [ ] 能解释 KV Cache 随上下文长度与并发增长(7B 4K 单并发约 0.5-1.5 GB 量级)
  • [ ] 记住了 24G 的答案:32B Q4_K_M 舒适,70B Q4 只能 offload 勉强跑
  • [ ] 已实测核对:加载模型后 nvidia-smi 实际占用 ≈ 自己的估算值
  • [ ] 遇到 CUDA out of memory 会按顺序处理:查占用 → 降位宽 → 降上下文
  • [ ] 知道 Q4_K_M 是"精度-体积"甜点,以及低于 Q3_K 的风险

参考

相关文章
|
搜索推荐 算法 数据挖掘
用小红书电商 API 实现小红书店铺商品用户画像精准构建
在社交电商时代,小红书凭借海量用户与商品数据,助力店铺构建精准用户画像,实现个性化推荐与高效运营。本文详解如何通过小红书电商 API 获取用户行为、交易与属性数据,结合算法模型完成数据清洗、特征提取与用户聚类,提升转化率与用户粘性。内容涵盖 API 调用示例、特征工程、模型构建及实施建议,帮助开发者系统化落地用户画像方案,驱动业务增长。
|
1月前
|
JSON Linux API
LangChain应用开发:用脚手架组装本地 LLM 应用
LangChain 是专为 LLM 应用开发设计的 Python 脚手架,提供模型(ChatModel)、提示模板(PromptTemplate)、输出解析(OutputParser)和链式编排(Runnable)等统一接口,轻松集成本地 Ollama 等兼容服务,不占显存、解耦模型、提升复用性。(239字)
|
1月前
|
缓存 JSON 安全
最新版通义千问Qwen3.8-Max 开发者实操手册:多模态能力解析、长周期 Agent 任务部署与代码调用教程
在复杂专业任务、长周期智能体、百万字文档精读、多模态深度推理等场景,普通大模型常常出现逻辑断层、长距离信息遗忘、复杂推理精度不足的问题。通义千问Qwen3.8-Max作为Qwen系列旗舰基座大模型,专为高复杂度专业任务打造,总参数量达到2.4万亿,推理时动态激活仅950亿参数,兼顾顶尖推理能力与可控的推理开销。模型原生支持百万Token超长上下文窗口,原生集成多模态理解、函数调用、联网检索、代码沙盒执行、上下文缓存等全套能力,在文本推理、视觉理解、复杂代码工程、金融量化、法律文书分析等专业基准测试中取得优异成绩。开发者可以通过百炼平台API快速调用,也可依托开源权重做私有化部署,适配企业级智能
287 1
|
1月前
|
缓存 并行计算 PyTorch
模型量化完全指南:GGUF、GPTQ、AWQ 怎么选
本指南详解大模型量化核心:显存为何能减半/四分之一?GGUF(CPU/GPU通用,Q4_K_M甜点)、GPTQ(PyTorch生态,4/8bit)、AWQ(激活感知,vLLM服务首选)三大方案适用场景与选型逻辑——不比谁压得狠,而看“你的显存配哪档最划算”。
|
2月前
|
Windows
【保姆级】.NET Framework 3.5离线安装教程(2026最新实测)
.NET Framework 3.5是微软经典运行库,专为兼容老软件、老游戏设计。Win7自带,Win10/11需手动启用(在线或离线安装)。它与4.x系列并存不冲突,缺它会导致“找不到组件”报错。本文详解两种安装方式及常见问题解决,小白也能轻松上手。(239字)
7709 1
|
3月前
|
自然语言处理 机器人 程序员
向量检索不准怎么办:混合检索与 Rerank 重排序召回优化实战
向量检索看不懂报错码和型号?一文讲透 BM25 关键词检索、RRF 混合检索与 Rerank 重排序,附 Python 代码,拉满 RAG 召回率与答案准确率
|
3月前
|
人工智能 监控 数据可视化
阿里云百炼大模型服务平台全解析:功能、计费、部署与API开发实战手册
在AI技术快速普及的当下,大量企业与开发者面临共同难题:搭建大模型应用需要处理模型选型、算力调度、数据处理、提示词调试、知识库构建、应用部署、监控运维等一系列复杂工作。从零搭建整套体系,不仅需要投入高额算力成本,还要求团队掌握大模型训练、向量检索、服务化部署等多领域专业知识,对于中小企业、独立开发者以及非技术业务团队而言门槛极高。阿里云百炼作为一站式大模型服务平台,定位为MaaS模型即服务平台,把模型调用、数据集处理、提示词工程、RAG知识库、智能体编排、模型微调、自动化评测、服务发布、用量监控全部整合到统一控制台当中,开发者与业务人员可以在同一个平台完成从模型测试到业务应用上线的完整流程,大
582 2
|
3月前
|
人工智能 运维 Serverless
基于阿里云快速部署DeepSeek-R1方法有哪些?MaaS、PaaS、IaaS共6种方法
阿里云提供多种零代码/低代码方式快速部署DeepSeek-R1(满血版或蒸馏版),支持MaaS(百炼)、PaaS(PAI/函数计算)及IaaS(GPU服务器/ACK/ACS)三层架构。最快5分钟开通、0元起体验,百万token免费额度,兼顾性能、成本与易用性,适用于AI应用集成与智能体开发。阿里云官网快速部署教程:https://t.aliyun.com/U/dzNafM
|
8月前
|
缓存 人工智能 NoSQL
“拆墙”现场:阿里云 Tair KVCache 携手 SGLang、千问与 NVIDIA 共话大模型推理优化
3月7日,阿里云Tair联合SGLang、千问App与NVIDIA在上海举办“大模型推理×数据库”Meetup。活动以“拆显存墙”为创意亮点,聚焦KV Cache加速与TTFT优化,展示硬件、管理、推理、应用四层全链路协同方案,推动Tair从传统缓存升级为AI时代核心缓存基础设施。
915 1
|
存储 机器学习/深度学习 缓存
Hybrid Model Support:阿里云 Tair 联合 SGLang对 Mamba-Transformer 等混合架构模型的支持方案
阿里云 Tair KVCache 联合 SGLang,创新支持 Mamba-Transformer 等混合架构模型。通过双池内存、状态快照等技术,解决异构状态管理难题,实现前缀缓存与推测解码,显著提升 Qwen3-Next 等模型的推理效率,推动大模型迈向高效智能体时代。