Ollama 是一款免费开源的本地大模型运行工具,通俗点说,就是让你在自己的电脑上直接跑 AI 大模型(比如 Llama、Qwen、DeepSeek)的软件。
以前想用大模型基本都得联网调用别人的服务,数据要传到云端。Ollama 把模型下载到本地,装好之后一条命令就能和 AI 对话,断网也能用,数据全程不出电脑,隐私和安全性是它核心的卖点。
和它同领域的工具还有 LM Studio、GPT4All、Jan 等,几款工具的差别主要在用法和生态上:
| 工具 | 使用方式 | 模型来源 | 是否免费开源 | 适合人群 |
| Ollama | 命令行 + 本地 API | 模型库丰富、更新快 | 免费开源 | 开发者、想把 AI 集成进程序的用户 |
| LM Studio | 图形界面 | 模型库 + 手动导入 | 免费(部分功能付费) | 习惯点鼠标操作的用户 |
| GPT4All | 图形界面 | 内置精选模型 | 免费开源 | 纯新手,想开箱即用 |
| Jan | 图形界面 | 内置 + 自定义导入 | 免费开源 | 喜欢现代简洁界面的用户 |
Ollama 的更新非常频繁,适配 Windows、macOS、Linux 三个平台。
下载Ollama
Ollama安装包:Ollama安装包(源自官网,放心使用)
安装Ollama
1)Windows安装
直接双击 OllamaSetup.exe 启动,点击 Install:
安装程序会自动安装到当前用户目录,不需要手动选择路径,也不需要额外配置,等待进度条走完即可:
安装完成后 Ollama 会自动启动,任务栏右下角会出现一个羊驼图标(Ollama 的 Logo),说明服务已经在后台运行了。
验证安装是否成功。按 Win + R 打开运行窗口,输入 cmd 回车打开命令提示符,输入 ollama --version 命令后回车:
看到类似 ollama version 0.33.2 的输出,就说明安装成功了。
2)macOS安装
macOS 用户双击启动 Ollama.dmg ,把 Ollama 拖入应用程序文件夹即可。启动后菜单栏会出现羊驼图标,打开终端输入 ollama --version 验证安装。
3)Linux安装
Linux 推荐使用官方安装脚本,打开终端执行以下命令:
curl -fsSL https://ollama.com/install.sh | sh
脚本会自动下载安装包并配置好系统服务,安装完成后输入 ollama --version 验证。
Ollama配置(Windows)
Ollama 默认将模型存储到 C 盘(通常为C:\Users\Administrator\.ollama\models),这对 C 盘可用容量有限的小伙伴非常不友好,我们可以手动将其修改为其它非系统盘。
修改的方法很简单,进入“Settings”界面,参照下图完成修改:
Ollama本地部署
Ollama 主要通过命令行界面进行操作。打开终端(Windows 用户可以使用 PowerShell 或 CMD),就可以开始使用 Ollama 了。
1)找到想装的模型
访问 Ollama 官网模型库:https://ollama.com/library,找到你想使用的 AI 模型,比如 deepseek:
点击 deepseek-r1,进入下图的页面,就能看到运行它的命令,是不是很简单:
2)安装模型
这里以 qwen2.5 模型为例,在 CMD 窗口执行如下命令:
ollama run qwen2.5
耐心等待模型下载完,下载过程可能需要一些时间,具体取决于模型大小和网络速度。7B模型大约需要4GB存储空间,13B模型需要8GB,70B模型则需要40GB以上:
一切准备就绪后,就可以和 AI 模型聊天了:
对于新手用户,建议先从较小的模型开始尝试,比如llama2:7b或mistral:7b。熟悉基本操作后,再根据需求尝试更大的模型或专用模型。
装完之后,就可以在主界面配置装好的模型,然后就可以畅快的对话了:
3)Ollama常用命令
平时用得最多的命令汇总如下,建议收藏备用:
| 命令 | 作用 |
ollama run 模型名 |
运行模型并对话,没下载会自动下载 |
ollama pull 模型名 |
只下载模型,不运行 |
ollama list |
查看本机已下载的模型 |
ollama ps |
查看正在运行的模型和内存占用 |
ollama stop 模型名 |
停止正在运行的模型,释放内存 |
ollama rm 模型名 |
删除模型,释放磁盘空间 |
ollama show 模型名 |
查看模型详细信息 |
ollama --version |
查看 Ollama 版本 |
Ollama热门模型推荐
模型库里的模型非常多,新手容易挑花眼。这里按用途整理了几款热门且好用的开源模型:
| 模型 | 参数规模 | 特点 | 适合场景 |
| Qwen2.5 / Qwen3(通义千问) | 0.5B~72B | 阿里开源,中文能力突出,速度快 | 中文对话、写作、代码,新手首选 |
| DeepSeek-R1 | 1.5B~70B | 推理能力强,擅长数学和逻辑 | 解题、编程、深度思考类任务 |
| Llama 3.3(Meta) | 8B~70B | 通用均衡,开源生态最完善 | 通用助手、英文任务 |
| Gemma 3(Google) | 1B~27B | 轻量高效,支持图像输入 | 低配置机器、多模态场景 |
| Phi-4(微软) | 14B | 小参数强推理,省资源 | 配置一般又想体验强推理的用户 |
选择建议:电脑配置一般(16 GB 内存)先从 7B~8B 参数的中文模型(qwen2.5 或 deepseek-r1)入手;内存充足或有好显卡再尝试 14B、32B 的更大模型。参数越大智商越高,但需要的硬件也越高,不必盲目追求大模型。
Ollama新手注意事项
1)模型文件本身很大,一个模型少则几个 GB,多则几十 GB,默认存放在 C 盘用户目录下的 .ollama 文件夹里。如果 C 盘空间紧张,一定要提前修改存储路径,避免 C 盘被塞满。
2)中文场景优先选国产开源模型。Ollama 模型库里的 Qwen(通义千问)、DeepSeek 对中文的支持明显更好,Llama 等英文模型虽然也能说中文,但质量和速度都不如国产模型。
3)没有独立显卡也能跑大模型,只是慢一些。相比显卡,内存是更关键的因素:想流畅跑 7B~8B 的模型建议 16 GB 内存起步,跑更大的模型需要更多内存或高端显卡。