【内容摘要】
本地部署大模型失败，九成不是模型选错，而是硬件与模型的匹配关系没算清。本文把笔记本拆成五档典型配置，用显存、内存、内存带宽三个硬约束做筛子，给出从 4000 元核显本到 3 万元统一内存旗舰的完整匹配流程，并说明每一档为什么只能选那几个模型。
【编写目的】
帮读者在自己的笔记本上做出可执行的模型选择，而不是照着别人的配置单盲目下载几十 GB 权重。
一、问题的真正形状
很多人问"我的笔记本能跑多大的模型"，这个问题本身是错的。正确的问法是"在我的显存和内存约束下，哪个模型能在可接受的速度内完成我的任务"。
这三个变量必须同时看：
1. 显存容量，决定模型权重能不能全部驻留 GPU。驻留则快，不驻留就要走内存，速度掉一个数量级。
2. 内存容量，决定模型能不能被装进来。装不进来，显存再大也没用。
3. 内存带宽，决定卸载部分的搬运速度。同样是卸载，DDR5 和 LPDDR5 的差距能到 30%。
三个约束里任何一个不满足，方案就不成立。这就是为什么"我 32GB 内存能不能跑 32B 模型"这个问题没有统一答案——要看你的显存是多少。
这三个约束之间还有一层容易被忽略的关系：显存和内存不是简单的相加关系。当模型需要卸载时，每一层计算都要在显存和内存之间搬运数据，搬运带宽由 PCIe 通道决定。笔记本的 PCIe 通常是 4.0 x8，理论带宽 16GB/s，实际有效带宽 10GB/s 左右。而显存内部带宽是 200GB/s 以上，差 20 倍。
这就解释了一个现象：同样是卸载，为什么有的模型掉速 3 倍，有的掉速 10 倍。掉速幅度取决于每生成一个 token 需要搬运多少数据。稠密模型每一层都要完整过一遍，搬运量大；MoE 模型只激活部分专家，搬运量小。这是后面要展开的核心论点。
还有一个隐性约束是散热。笔记本的持续功耗上限通常在 45W 到 65W 之间，跑满 GPU 时 CPU 会降频。如果推理框架同时占用 CPU 和 GPU，实际性能可能比标称低 15% 到 20%。这一点在长时间跑 Agent 任务时尤其明显。
散热这个约束在日常使用里最容易被忽视，也最容易造成标称速度和实际速度对不上。笔记本的功耗墙是按整机持续散热能力设计的，GPU 满载时热量积聚，CPU 被动降频，而卸载场景恰恰需要 CPU 参与数据搬运。这就是为什么同一台机器，冬天测和夏天测、垫高测和压在桌面上测，速度能差出一截。
几个实用的经验：一是一定插电跑，电池模式下的功耗墙会再砍一截，速度损失远超预期；二是出风口留出空间，垫高机身或用支架，持续负载下的降频会明显减少；三是长任务拆段跑，连续生成十几分钟后让机器喘口气，平均速度反而比硬扛更高；四是盯着框架自带的功耗或温度监控，发现频率曲线持续往下走，就说明已经触墙了。
如果跑的是 Agent 这类数小时级任务，建议把并发设为一，别让 CPU 和 GPU 同时满载。表面上看速度低了，实际完成时间反而更短，因为避免了降频之后的反复爬坡。
二、五档典型配置的划分依据
按市面主流机型，我把笔记本分成五档。划分不看价格，看三个硬指标的组合：
第一档，核显轻薄本。代表配置是 i5-1235U 或 R5-7530U，16GB 内存，无独立显存，核显共享内存。价格区间 4000 到 5500 元。
第二档，入门独显全能本。代表配置是 i5-13500H 或 R7-7840H，16GB 内存，RTX 4050 6GB 显存。价格区间 5500 到 7000 元。
第三档，主流创作本。代表配置是 i7-13700H 或 R7-8845HS，32GB 内存，RTX 4060 8GB 显存。价格区间 7000 到 9000 元。
第四档，高性能移动工作站。代表配置是 i9-13980HX 或 R9-7945HX，64GB 内存，RTX 4080 Laptop 16GB 显存。价格区间 13000 到 18000 元。
第五档，统一内存旗舰。代表配置是 Apple M4 Pro 或 M4 Max，64GB 统一内存，GPU 可用约 48GB。价格区间 18000 到 30000 元。
这五档基本覆盖了从学生到专业创作者的全部人群。往下再低没有部署价值，往上就进入台式机或多卡领域，不属于笔记本讨论范围。
三、匹配流程的第一步：算三个数
在下载任何模型之前，先算三个数。这一步用纸笔就能完成，但能省掉几小时的无效下载。
第一个数，模型 Q4 量化后的权重大小。经验公式是参数量乘以 0.6，单位 GB。7B 约 4.2GB，14B 约 8.4GB，32B 约 19GB。MoE 模型按总参数量算，Qwen3-30B-A3B 总参 30.5B，Q4 约 18.5GB。
第二个数，KV 缓存大小。这个和上下文长度强相关。4K 上下文下，7B 模型约 1.5GB，14B 约 2GB，32B 约 3GB。上下文翻倍，KV 缓存基本翻倍。
上面按 4K 上下文算的这笔账，在 Agent 场景下会被急剧放大。Agent 任务堆到 32K 很常见，是 4K 的八倍。按翻倍翻倍地推，7B 模型的 KV 缓存就从 1.5GB 涨到 12GB 左右，比权重本身还大；14B 会到 16GB，32B 会到 24GB。这时瓶颈根本不在权重驻不驻留，而在缓存把显存吃光。
应对办法有三个。第一是优先选 KV 缓存绝对值小的模型，参数越小缓存越小，同样上下文下压力轻得多。第二是做上下文管理，让 Agent 框架在多轮之间做摘要截断，把实际上下文压回 8K 到 16K，缓存就能控制在权重的三成以内。第三是留余量，按目标上下文算完缓存后，再预留两成给突发输出，宁可这一档少选一个模型。
还有一个容易忽略的点：KV 缓存是按会话各算一份的。单会话刚好卡线的配置，同时开两个窗口就会 OOM。本地当个人助手用还好，一旦想并行跑多个任务，这笔账要按会话数翻倍再算。
第三个数，系统与框架开销。Windows 留 4GB，macOS 留 6GB，再给推理框架留 2GB。
三个数加起来，就是你的实际需求。拿它去和显存、内存比。这次核算用的是 AiPy，图它成本低、省事，您用顺手的工具也一样。
这里要提醒一句：很多教程只算第一个数，结果一跑就 OOM。KV 缓存和系统开销是必须算进去的。
四、五档配置的匹配结论
第一档，核显轻薄本。16GB 内存减去 6GB 开销，可用 10GB。这个空间里，Qwen3-4B 的 Q4 权重为 2.5GB，KV 缓存 1GB，两项合计 3.5GB，能装下，CPU 推理速度约 6 到 7 tok/s。Qwen3-8B 权重 5GB 也能装，但速度掉到 4 tok/s 左右，实际体验接近不可用。14B 需要 17GB，直接装不下。
这一档的结论很明确：主力用 Qwen3-4B，日常助手用 Qwen3-1.7B，14B 以上全部放弃。不要相信"16GB 内存跑 14B"的说法，那是把系统开销忽略掉算出来的。
补充一个实测细节。这一档机器跑 4B 模型时，CPU 占用率通常在 60% 到 80%，风扇会持续转。如果同时开视频会议，速度会掉到 3 tok/s 以下。所以实际使用时建议一次只做一件事，不要指望它当后台常驻服务。
另外，核显本的内存是共享的，核显会动态占用一部分内存作为显存。这个占用在 BIOS 里可以调整，通常默认 512MB 到 2GB。如果你把核显显存调到最小，能多出 1GB 到 1.5GB 给模型用。这个操作在部分机型上有效，值得一试。
第二档，6GB 显存加 16GB 内存。Qwen3-4B 的权重加 KV 共 3.5GB，能全部驻留显存，速度约 38 tok/s。Qwen3-8B 需要 6.5GB，超出 6GB 显存，只能部分卸载，速度掉到 8 tok/s。这一档的甜点位就是 4B。
第三档，8GB 显存加 32GB 内存。这是性价比最高的一档。Qwen3-8B 权重 5GB 加 KV 1.5GB 共 6.5GB，能全驻留，速度约 26 tok/s，日常写作、RAG 检索、轻量代码都够用。
更关键的是，这一档能跑 MoE 模型。Qwen3-30B-A3B 权重 18.5GB 装不进 8GB 显存，但可以部分卸载到 32GB 内存，因为激活参数只有 3.3B，速度仍有 18 tok/s 左右。这是 MoE 架构带来的红利——用内存换能力，代价可接受。
第四档，16GB 显存加 64GB 内存。Qwen3-14B 能全驻留，速度 16 tok/s。但这一档的最优解不是 14B，而是 Qwen3-30B-A3B。它同样需要卸载，但激活参数小，速度 18 tok/s 反而比 14B 稠密更快，能力还更强。这是很多人会算错的地方。
这里补一个成本视角的对比。第四档机器价格是第三档的近两倍，但换来的不是"能跑更大的稠密模型"，而是"能跑更从容的 MoE 模型"。如果任务只是日常写作和检索，第三档的 8B 全驻留已经够用，多花的钱边际收益有限。真正需要上第四档的，是那些上下文经常超过 16K、或者要连续跑多步 Agent 任务的场景。
反过来看第五档，价格再翻一倍，收益点又变了：它第一次让 80B 级模型进入可用区间，但代价是统一内存架构下带宽成为唯一瓶颈。所以第五档的选购逻辑不是"买最贵的"，而是"确认自己的任务真的需要 80B 级能力"。
一个实用的决策技巧：先按第三档的结论试跑一周，把实际遇到的 OOM、掉速、上下文不够用的情况记下来。如果记录里出现三次以上同类问题，再考虑升档；如果一周下来没碰到，说明当前档位就是你的真实需求上限。
第五档，48GB 可用统一内存。Qwen3-32B 稠密能全驻留，速度约 9 tok/s。Qwen3-30B-A3B 全驻留，速度 45 tok/s。Qwen3-Next-80B-A3B 权重 46.5GB 刚好装下，速度约 22 tok/s。这一档第一次让 80B 级模型在笔记本上变得可用。
这一档有个反直觉的结论：Qwen3-32B 稠密模型速度只有 9 tok/s，反而比低两档的 30B-A3B 慢 5 倍。原因还是激活参数——32B 稠密每生成一个 token 要过全部 32B 参数，30B-A3B 只过 3.3B。在统一内存这种带宽受限的架构上，这个差距被放大得更明显。
所以第五档的最优解不是"跑最大的稠密模型"，而是"跑激活参数最小的 MoE 模型"。80B-A3B 的激活参数只有 3B，速度 22 tok/s，能力却接近 80B 级。这才是统一内存架构真正的价值所在。
五、为什么 MoE 改变了选型逻辑
传统的选型逻辑是"显存够不够装权重"。MoE 出现后，这个逻辑要改。
MoE 模型的总参数决定它需要多少存储空间，激活参数决定它跑多快。Qwen3-30B-A3B 总参 30.5B，激活 3.3B。这意味着它的知识密度接近 30B 稠密模型，但计算量和 3B 模型相当。
结果就是：在显存不足、必须卸载的场景下，MoE 的速度衰减远小于稠密模型。稠密 32B 卸载后只有 2.5 tok/s，基本不可用；MoE 30B-A3B 卸载后还有 18 tok/s，可以当主力。
这个差异直接改变了第三档和第四档的最优选择。如果你的机器是 8GB 或 16GB 显存，优先考虑 MoE 模型，而不是同价位的稠密模型。
六、Agent 趋势对选型的影响
2025 年之后，本地部署的主要用途正在从"聊天"转向"Agent 执行"。这个转变对选型有三个影响。
第一，工具调用能力比闲聊能力重要。Agent 需要模型稳定输出结构化 JSON、正确选择工具、多轮修复错误。这要求模型经过 Agentic 训练，而不是单纯的对话微调。Qwen3-Coder-30B-A3B 就是专门为这个场景训练的。
第二，上下文长度需求上升。Agent 一次任务可能涉及十几个工具调用，上下文很快堆到 32K 以上。这时候 KV 缓存会吃掉大量显存，选型时必须预留。
第三，速度容忍度下降。Agent 是串行执行的，每一步都要等模型输出。18 tok/s 和 45 tok/s 的差别，在一个十步任务上就是几十秒的差距。
所以现在的选型建议是：如果主要用途是 Agent，宁可牺牲一点模型规模，也要保证速度在 15 tok/s 以上。这也是为什么第四档推荐 30B-A3B 而不是 32B 稠密。
还有一个容易被忽略的边界：Agent 任务的失败成本远高于聊天。聊天卡一下，重说一句就行；Agent 跑到第八步因为超时或 OOM 中断，前面七步的工具调用全部作废，还可能留下半完成的状态。所以选型时要把"稳定性"单独列一项，而不是只看平均速度。
具体做法是给速度留冗余。标称 18 tok/s 的模型，在长上下文、散热降频、后台占用叠加之后，实际可能掉到 12 tok/s 以下。如果你的任务链条长，就按标称值的七折去估算实际体验，能接受再上。这也是原文强调"速度容忍度下降"的延伸含义——不是要求更快，而是要求更稳。
最后提醒一个框架层面的坑：不同推理框架对卸载策略的实现差异很大，同一个模型在 A 框架能跑 18 tok/s，换到 B 框架可能只有 10 tok/s。选型确定后，建议固定一套框架和量化实现，不要频繁更换，否则速度数据失去可比性，前面的计算也就白做了。
七、可复用的决策清单
把上面的流程压缩成一份清单，可以直接照着走：
1. 查清自己的显存容量和内存容量，注意核显本是共享内存，没有独立显存。
2. 用参数量乘 0.6 估算 Q4 权重大小。
3. 按预期上下文长度估算 KV 缓存，4K 上下文按权重的 20% 到 30% 估。
4. 加上系统开销，Windows 4GB，macOS 6GB，框架 2GB。
5. 总和小于显存，全驻留，速度最快。
6. 总和大于显存但小于内存，可卸载，优先选 MoE。
7. 总和大于内存，放弃这个模型，换小一号。
这份清单不需要任何工具，纸笔五分钟能算完。但能避免 90% 的无效尝试。这次基于成本和便捷选了 AiPy，您好奇也可以尝试，用别的工具也不影响。
八、几个常见误区
误区一，显存越大越好。实际上 8GB 显存配 32GB 内存的组合，比 16GB 显存配 16GB 内存更实用，因为后者装不下大模型。内存是被低估的指标。
误区二，参数量越大能力越强。在笔记本这个约束下，能跑起来的 8B 模型，永远强过跑不动的 32B 模型。速度也是能力的一部分。
误区三，量化越低越好。Q4 是精度和体积的平衡点。Q3 以下量化对 MoE 模型损伤明显，专家路由会失准。宁愿换小模型，也别用 Q3。
量化档位的选择可以顺着前文的公式往下推。Q4 是参数量乘 0.6，Q8 按同类经验大约是参数量乘以 1，也就是说 7B 模型用 Q8 要 7GB 左右，比 Q4 多出近七成体积。多出来的体积换来更小的精度损失，但代价是显存余量被压缩——本来能全驻留的配置，换成 Q8 后可能就变成轻度卸载，速度损失远大于精度收益。
所以量化的决策顺序应该是：先算 Q4 能不能全驻留，能全驻留再考虑要不要上 Q8；Q4 需要卸载的，直接换小一号的模型用 Q4，而不是拿大模型的 Q3 硬塞。Q3 的问题前面已经说过，对 MoE 的专家路由损伤明显，路由失准的模型等于每次都在选错工具，输出质量会以难以察觉的方式劣化，这比速度慢更危险，因为你很难第一时间发现。
一个折中技巧是混合精度：对精度敏感的前几层保持高精度，其余层用低精度，部分框架支持按层配置。不过这会增加调试成本，普通用户还是老老实实在 Q4 和 Q8 之间二选一更稳妥。
误区四，只看 tok/s 不看首字延迟。长上下文场景下，预填充阶段可能就要几十秒。1M 上下文的模型在笔记本上预填充极慢，实际不可用。
九、结语
本地部署的核心不是"跑最大的模型"，而是"让手上的硬件发挥最大价值"。一台 7000 元的 8GB 显存创作本，选对模型能跑 30B 级 MoE，选错模型连 8B 都卡。
这套方法论的价值在于，它把选型从"看别人推荐"变成了"自己算得出来"。硬件不会变，但模型在迭代，掌握算法比记住结论更重要。成文前又用 AiPy 核了一遍——图它省钱省力，您用熟悉的工具一样能复核。
数据说明：本文的显存与内存占用为按公式推算值，速度数据为同档硬件的经验区间，实际以本机实测为准。不同框架、不同量化实现、不同驱动版本都会带来偏差。
