Ollama 装好却拉不动模型?八成是这两种病,一种缺网一种缺显存

简介: Ollama 装好却拉不动模型,八成是两种病:一种是下不下来,一种是下下来了跑不动。前者缺网,后者缺显存,修法完全相反。先分清是哪一种再动手,这篇给判断命令和五种修法,模型从国内站拉。

装软件这件事我基本闭眼能装,脑子里有模板。

但 AI 这套工具,坑是新的。

卡在这一步的人,开口通常是这么一句:

"柯柯,Ollama 我装好了,但模型拉不动。"

这句话里其实藏了两种完全不同的病,修法也完全不一样。先对号入座,别急着折腾。


第一步:分清你是哪一种"拉不动"

A 型:根本下不下来

ollama pull qwen2.5:7b

屏幕上停在 pulling manifest 不动,或者进度条走得像蜗牛,最后甩一句 Error: max retries exceeded。

这是网络问题,模型文件还没到你电脑上。

B 型:下下来了,但跑不动

ollama list 里能看到模型,可一 run 就崩,或者回一句话要等半分钟、风扇狂转。

这是显存问题,模型在,但你的电脑扛不动。

分清楚了吗?下面分开治。


A 型:卡在 pulling manifest

Ollama 的模型默认从 registry.ollama.ai 拉,这个地址在国内直连经常不稳。不是你网络坏了,是这条路本来就不顺。

修法一:换国内模型站(最直接)

ModelScope(modelscope.cn,阿里的模型站)上有大量 GGUF 格式的模型,国内下载快得多。

拿到 .gguf 文件之后,用 Ollama 导入,全程不经过官方 registry:

  1. 新建一个没有后缀的文本文件,名字就叫 Modelfile
  2. 里面写一行:

FROM ./qwen2.5-7b-instruct-q4_k_m.gguf

  1. 在同一个目录下打开命令行,执行:

ollama create qwen-local -f Modelfile

  1. 然后就能跑了:

ollama run qwen-local

qwen-local 这个名字你可以随便起。这样模型就进了你本地的库,以后不用再下载。

修法二:先拿小模型把链路试通

别一上来就拉 7B、14B。先来个 1.5B 的,不到 1 GB,一会儿就下完。

ollama pull qwen2.5:1.5b

能拉通,说明网络和 Ollama 本身没问题,再去下大的。卡住的原因常常是文件太大加上网速太慢,不是环境坏了。


B 型:模型在,但跑不动

先别猜,两条命令就能看出来。

看它到底跑在哪

ollama ps

盯 PROCESSOR 那一列:

显示 含义 状态
100% GPU 全在显卡上 正常,这就是你要的
大部分 GPU + 一点 CPU 显存塞不下,溢出到内存 速度会掉一半以上
100% CPU 完全没吃到显卡 慢,但如果能忍,也能用

看它到底多快

ollama run qwen2.5:7b --verbose

回答完会打出一段统计,找 eval rate 那一行,单位是 token/s。

参考值(看机器,不是绝对):40 以上很流畅,15 左右能正常聊,10 以下基本没法用,个位数就是幻灯片。

你的显存到底够不够

4bit 量化下,大致是这么个账(估算值,以 ollama ps 实测为准):

模型规模 大概需要显存 常见型号
1B–3B 1–2.5 GB qwen2.5:1.5b、llama3.2:3b
7B–8B 5–6 GB qwen2.5:7b、llama3.1:8b
14B 9–10 GB qwen2.5:14b
32B 19–21 GB qwen2.5:32b
70B 40 GB 以上 家用基本别想

注意,这只是模型本身的重量。 对话越长,上下文还要再吃 1–2 GB。所以 8G 显存跑 7B 是紧的,16G 跑 14B 才舒服。看到"8G 显卡能跑 7B"的说法,别全信,跑是能跑,但稍微聊长一点就溢出去了。

三种救法

  1. 换小的(最有效)。14B 卡就换 7B,7B 卡就换 3B。3B 的模型回答质量已经能应付大部分日常问答了,别迷信大。
  2. 别开长上下文。默认 2048 够用,硬拉到 32K,显存直接爆。
  3. 接受 CPU 跑。7B 在普通 8 核 CPU 上大概 5–8 token/s,慢,但适合不赶时间的活,比如批量处理文档、夜里挂着跑。

顺手三个更常见的坑

这三个不属于"拉不动",但同样常见:

1. 'ollama' 不是内部或外部命令装完没重开终端。关掉所有命令行窗口重开,或者直接重启电脑。

2. connection refused服务没起来。看右下角托盘有没有 Ollama 图标,没有就手动启动一次。

3. 端口被占用

netstat -ano | findstr 11434

11434 是 Ollama 的默认端口,被别的程序占了就起不来。


最后:怎么算真的通了

ollama run qwen2.5:1.5b

出现 >>> 提示符,输入"你好",它回你一段通顺的话 —— 这就成了。

别急着下 70B。 先用小模型把整条链路走通一遍,知道每一步长什么样,再去试大的。这跟你装 Python 先跑个 print("hello") 是一个道理。

第一步就想跑最大的模型,卡住之后很容易得出「我这台不行」的结论。

其实只是顺序错了。


Ollama 请从 ollama.com 下载,模型优先用官方源或 modelscope.cn,别用来路不明的整合包。

目录
相关文章
|
3天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1667 2
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
3天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
3279 0
|
19天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8577 58
|
13天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
3039 9
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5820 69
|
7天前
|
云安全 人工智能 安全
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1918 1