Ollama 是一款免费开源的本地大模型运行工具,它能在你自己的电脑上直接运行 Qwen、DeepSeek、Llama 等开源大模型,不需要联网,数据也不出本机,把"AI 助手"变成随开随用的本地软件,很多开发者和 AI 爱好者都把它当成本地模型的主力工具。
Ollama 的主要特点有三个:
- 模型丰富,Qwen、DeepSeek、Llama、Mistral 等主流开源模型一条命令就能下载;
- 完全本地运行,断网也能用,隐私数据不出电脑;
- 提供 OpenAI 兼容的 API,其他软件可以像调用在线接口一样调用本地模型。
Ollama 的核心优势是免费、开源、本地运行,模型想换就换,没有次数和字数限制,数据还完全掌握在自己手里,尤其适合想自己部署 AI、重视数据隐私、或者想免费体验大模型的用户。
目前 Ollama 的最新版本是 v0.32.x,Windows、macOS、Linux 三端同步更新。
下载Ollama
Ollama安装包下载:Ollama安装包(源自官网,放心使用)
Windows 用户下载 OllamaSetup.exe 安装包,macOS 用户下载 dmg 文件,Linux 用户可以用官网提供的一键安装脚本:
curl -fsSL https://ollama.com/install.sh | sh
安装Ollama
macOS 用户获得 Ollama.dmg 后,双击打开把 Ollama 拖入应用程序文件夹即可。
Windows 平台的安装过程也很简单。获得 OllamaSetup.exe 后直接双击启动,点击 Install:
安装程序会自动安装到当前用户目录,不需要手动选择路径,也不需要额外配置,等待进度条走完即可:
装好后 Ollama 自动启动,系统托盘也会出现 Ollama 图标,说明后台服务已经在运行了:
Ollama配置(Windows)
Ollama 默认将模型存储到 C 盘(通常为C:\Users\Administrator\.ollama\models),这对 C 盘可用容量有限的小伙伴非常不友好,我们可以手动将其修改为其它非系统盘。
修改的方法很简单,进入“Settings”界面,参照下图完成修改:
Ollama部署本地大模型
Ollama主要通过命令行界面进行操作。打开终端(Windows用户可以使用PowerShell或CMD),就可以开始使用Ollama了。
1)找到要装的模型
访问 Ollama 官网模型库:https://ollama.com/library,找到你想使用的 AI 模型,比如 deepseek:
点击 deepseek-r1,进入下图的页面,就能看到运行它的命令,是不是很简单:
2)安装模型
这里以 qwen2.5 模型为例,在 CMD 窗口执行如下命令:
ollama run qwen2.5
耐心等待模型下载完,下载过程可能需要一些时间,具体取决于模型大小和网络速度。7B模型大约需要4GB存储空间,13B模型需要8GB,70B模型则需要40GB以上:
一切准备就绪后,就可以和 AI 模型聊天了:
对于新手用户,建议先从较小的模型开始尝试,比如llama2:7b或mistral:7b。熟悉基本操作后,再根据需求尝试更大的模型或专用模型。
装完之后,就可以在主界面配置装好的模型,然后就可以畅快的对话了:
3)Ollama常用命令
平时用得最多的命令汇总如下,建议收藏备用:
| 命令 | 作用 |
ollama run 模型名 |
运行模型并对话,没下载会自动下载 |
ollama pull 模型名 |
只下载模型,不运行 |
ollama list |
查看本机已下载的模型 |
ollama ps |
查看正在运行的模型和内存占用 |
ollama stop 模型名 |
停止正在运行的模型,释放内存 |
ollama rm 模型名 |
删除模型,释放磁盘空间 |
ollama show 模型名 |
查看模型详细信息 |
ollama --version |
查看 Ollama 版本 |
Ollama热门模型推荐
Ollama 模型库收录了上千个开源模型,下面是当前下载量靠前、性价比也高的几款:
| 模型 | 参数档位 | 特点 | 适合人群 |
| qwen3(通义千问 3) | 0.6b ~ 235b | 中文效果好,支持思考模式,工具调用能力强,下载量最高 | 新手首选,日常问答、写代码 |
| deepseek-r1(深度求索) | 1.5b ~ 671b | 数学和编程推理强,MIT 协议可商用 | 逻辑推理、代码任务 |
| deepseek-v4-flash | 284b(MoE 激活 13b) | 1M 超长上下文,三种思考模式,发布三周热度冲到第二 | 大显存用户,本地跑不动可用云端版 |
| kimi-k3(月之暗面) | 2.8T | 世界首个开源 3T 级模型,原生多模态,1M 上下文 | 云端体验前沿模型 |
| qwen2.5-vl | 7b ~ 72b | 多模态,能看图理解图片内容 | 图片识别、截图分析 |
| gemma3(谷歌) | 1b ~ 27b | 轻量高效,低配置电脑也能流畅跑 | 低配电脑、追求响应速度 |
各模型安装命令如下,在终端输入回车即可,第一次会自动完成下载:
| 模型 | 安装命令 | 内存要求 |
| qwen3(日常首选) | ollama run qwen3:8b |
8 GB 起步 |
| qwen3(更强档位) | ollama run qwen3:14b |
16 GB 以上 |
| deepseek-r1(推理版) | ollama run deepseek-r1:8b |
8 GB 起步 |
| deepseek-r1(更强推理) | ollama run deepseek-r1:32b |
32 GB 以上 |
| qwen2.5-vl(看图版) | ollama run qwen2.5-vl:7b |
8 GB 起步 |
| gemma3(低配轻量版) | ollama run gemma3:4b |
低配即可 |
选择上给几点建议:新手先跑 qwen3:8b 准没错,中文好、配置要求不高,跑通流程之后再按需扩展。模型名字后面的数字是参数档位,数字越大越聪明也越吃配置,内存 8 GB 用 8b,16 GB 用 14b,32 GB 可以上 32b;跑起来卡顿或者报内存不足,就降一档试试。
Ollama新手注意事项
1)模型文件本身很大,一个模型少则几个 GB,多则几十 GB,默认存放在 C 盘用户目录下的 .ollama 文件夹里。如果 C 盘空间紧张,一定要提前修改存储路径,避免 C 盘被塞满。
2)能跑多大的模型主要看内存和显卡。内存 8 GB 左右的电脑适合跑 7B、8B 参数的小模型,内存 16 GB 以上可以尝试 14B 甚至 32B 的模型;有 NVIDIA 显卡(CUDA)或 Apple 芯片(Metal)的电脑速度会快很多,纯 CPU 也能跑,只是速度慢一些。
3)命令行操作不用怕,Ollama 常用的命令就四五条,照着文章敲就行,输错了终端会给出提示。
4)本地小模型的智力水平有限,7B、8B 的小模型适合日常问答、写代码、翻译这类任务,复杂推理和长文档处理效果不如大模型,期望放合理一些。
总结
Ollama 是一款免费、开源的本地大模型运行工具,在电脑上就能跑 Qwen、DeepSeek 等主流开源模型,数据不出本机,断网也能用,适合想自己部署 AI、重视数据隐私的用户。
Ollama 的安装包接近 1.5 GB,下载需要点耐心。装好后先跑一个 qwen3 试试,上手只需要几条命令;模型文件很大,记得给磁盘留够空间,跑不动就换参数小一点的模型,本地跑大模型没有想象中那么难。