Ollama 保姆级实操教程：2026最新版本Windows/macOS/Linux本地离线部署开源大模型完整指南

随着开源大模型生态快速发展，越来越多开发者、AI爱好者不再单纯依赖线上AI接口，更倾向于在本地设备运行大模型，实现数据完全本地留存，保护业务与个人隐私。Ollama作为当下主流免费开源本地大模型运行工具，能够在Windows、macOS、Linux操作系统之上离线运行Qwen、DeepSeek、Llama、Mistral等各类主流开源模型，全程数据不会向外传输，断网环境依旧可以正常对话交互，同时提供兼容OpenAI标准的API接口，便于第三方开发工具、Agent程序接入调用本地大模型能力。2026年Ollama迭代到v0.32.x版本，三端同步更新，优化显卡推理加速、内存调度逻辑，降低普通电脑运行大模型的硬件门槛，本文将完整讲解从下载、安装、存储路径调整、模型拉取运行、高频命令、热门模型选型、API调用、踩坑排错完整流程，帮助零基础用户快速搭建属于自己的本地私有AI助手。

Ollama核心优势主要体现在三个层面。第一，海量开源模型开箱即用，官方模型库收录上千款开源大模型，从0.6B轻量小模型到数百B超大参数模型全部覆盖，一条终端命令即可完成下载、加载运行，无需手动处理GGUF模型文件、环境编译、推理框架配置等复杂工作。第二，真正意义上本地离线运行，所有对话上下文、输入的数据全部保存在本机磁盘与内存，不需要网络连接就可以完成问答、代码生成、文档解析工作，对隐私敏感的业务场景非常友好。第三，标准化API兼容，对外提供与OpenAI接口格式高度对齐的服务地址，各类Agent工具、代码助手、客户端软件无需大规模修改代码，就可以切换对接本地部署的大模型，极大降低本地AI二次开发的开发成本。不管是个人学习测试、本地代码助手、私有知识库对接，还是离线场景AI服务开发，Ollama都可以作为首选工具。
阿里云部署AI Agent：OpenClaw/Hermes Agent全网最简单，只需两步，详情👉访问阿里云OpenClaw/Hermes一键部署专题页面了解。









Token Plan Token 最便宜/支持多模型切换：👉访问订阅阿里云百炼Token Plan AI大模型服务 。支持多模型切换，用于多模态模型灵活调用，实现多模型、多工具、多场景下的额度共享与统一管理，兼顾灵活性、稳定性与安全性，大幅降低企业使用大模型的门槛与成本。

Ollama全平台下载与安装

Ollama针对不同操作系统提供对应的安装介质，Windows提供exe图形化安装包，macOS提供dmg镜像包，Linux提供一键shell脚本，也支持手动离线包部署。

Linux系统直接在终端执行一键安装脚本，复制下面命令直接运行即可自动完成环境部署：

curl -fsSL https://ollama.com/install.sh | sh

脚本会自动处理服务注册、环境配置，安装完成后系统会自动创建ollama系统服务，开机自动后台启动服务进程。

Windows平台用户前往官网下载OllamaSetup.exe安装程序，双击运行安装程序，点击Install按钮，程序自动将程序文件写入用户目录，不需要手动选择安装路径，等待安装进度完成。安装结束后Ollama后台服务自动启动，系统右下角托盘会出现Ollama小羊图标，代表服务正常运行。Windows除图形安装包之外，也可以打开PowerShell执行官方脚本一键安装：

irm https://ollama.com/install.ps1 | iex

macOS用户下载dmg格式安装镜像，双击打开镜像，将Ollama程序拖拽至应用程序文件夹，完成安装。打开应用程序启动Ollama，顶部菜单栏出现小羊图标，代表后台服务已经正常启动。

安装完成之后，打开终端（Windows可以使用CMD、PowerShell，macOS与Linux使用系统Terminal），执行版本查看命令验证安装是否成功：

ollama --version

终端正常输出版本号v0.32.x，代表整套环境部署完毕；如果提示命令不存在，说明服务没有正常启动，Windows检查托盘图标，macOS确认程序已经运行，Linux执行systemctl status ollama查看服务状态。

修改模型存储路径，解决磁盘空间爆满问题

Ollama下载的大模型文件体积普遍较大，7B参数模型大约占用4GB磁盘，13B模型约8GB，32B模型达到20GB以上，70B模型需要40GB以上存储空间。软件默认会把全部模型文件存放至系统盘，Windows默认路径C:\Users\用户名\.ollama\models，macOS与Linux默认路径~/.ollama/models，长时间使用很容易占满系统盘空间，因此安装完成后优先调整模型存储目录，把模型保存到空间充足的非系统磁盘当中。

Windows图形界面操作可以打开Ollama软件，点击左侧Settings设置选项，找到Model location选项，点击Browse浏览按钮，选择D盘或者其他磁盘新建的文件夹作为模型存放目录，保存设置之后重启Ollama程序生效。

如果使用命令行设置环境变量实现永久修改存储目录，PowerShell执行：

[System.Environment]::SetEnvironmentVariable("OLLAMA_MODELS","D:\ollama_models","User")

Linux、macOS终端设置环境变量，将模型存放至自定义目录：

#临时生效，当前终端会话
export OLLAMA_MODELS="/mnt/sata/ollama_models"

想要永久生效，把这行环境变量写入~/.zshrc或者~/.bashrc配置文件。修改完成之后，需要完全停止Ollama后台进程，重新启动服务，新下载的模型就会保存到自定义目录。已经下载完成的旧模型，需要手动复制blobs与manifests文件夹到新路径，避免重复下载完整模型文件。

本地大模型下载与运行实操

Ollama绝大多数能力依靠终端命令完成操作，安装完毕之后，我们可以访问官方模型库网页浏览全部可用模型，每个模型页面都会给出对应的运行命令。

以国内常用qwen2.5模型举例，终端输入下面命令，软件会自动检测本机是否已经存在模型文件，如果本地没有，就会自动拉取下载，下载结束之后直接进入对话交互模式。

ollama run qwen2.5

下载速度取决于网络条件，大尺寸模型下载耗时会比较久，等待下载校验全部完成，终端出现交互提示符，就可以直接输入问题和大模型对话。

新手重要提示：优先选择小参数模型起步，硬件配置有限的设备优先7B、8B档位模型，跑通整套流程，熟悉操作之后，再尝试更大参数的模型。7B、8B模型普通8GB内存机器就可以运行；14B模型建议16GB内存起步；32B模型需要32GB以上内存。拥有NVIDIA显卡开启CUDA、Apple硅芯片开启Metal硬件加速，推理速度会大幅提升，纯CPU模式也可以运行，但是响应速度会明显变慢。

下面整理日常开发当中最高频的Ollama命令，建议保存备查：

#运行模型，本地无模型则自动下载
ollama run 模型名

#仅下载模型，下载完成不直接进入对话
ollama pull 模型名

#查看本机已经下载全部模型列表
ollama list

#查看当前正在运行的模型，显示内存显存占用
ollama ps

#停止正在运行的模型，释放内存显存资源
ollama stop 模型名

#删除本地模型，释放磁盘存储空间
ollama rm 模型名

#查看模型的参数、模板、版本详情
ollama show 模型名

#查看Ollama软件版本
ollama --version

Ollama开放API调用实操

Ollama后台服务默认监听本机11434端口，对外提供REST接口，完全兼容OpenAI调用格式，其他程序、脚本可以直接调用本地模型，实现二次开发。默认仅本机可以访问，局域网其他设备无法连接。

本机curl测试对话接口示例：

curl http://localhost:11434/api/chat -d '{
"model":"qwen3:8b",
"messages":[
{"role":"user","content":"写一段简单python代码实现冒泡排序"}
],
"stream":false
}'

如果希望局域网其他设备访问本机Ollama服务，需要配置环境变量OLLAMA_HOST=0.0.0.0，Linux系统修改ollama systemd服务文件，在[Service]段增加环境变量配置：

Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"

配置保存后执行命令重载配置重启服务，同时防火墙放行11434端口：

systemctl daemon-reload
systemctl restart ollama

接口兼容OpenAI/v1标准格式，很多支持OpenAI接口的客户端可以直接接入，调用示例：

curl http://localhost:11434/v1/chat/completions \
-H "Content-Type:application/json" \
-H "Authorization: Bearer ollama" \
-d '{
"model":"qwen3:8b",
"messages":[{"role":"user","content":"简单介绍Ollama工具"}]
}'

热门开源模型选型与硬件匹配参考

官方模型库拥有上千模型，普通用户不需要逐个尝试，挑选经过大量验证、综合效果优秀的模型，结合自己电脑内存、显存选择合适档位。

qwen3（通义千问3），中文理解能力突出，工具调用能力优秀，非常适合国内用户，日常问答、文档处理、代码编写场景，0.6B至235B多档位可选。推荐命令：

ollama run qwen3:8b
ollama run qwen3:14b

deepseek‑r1，推理能力强悍，数学计算、代码逻辑表现突出，支持商用协议，适合处理复杂逻辑任务。推荐命令：

ollama run deepseek‑r1:8b
ollama run deepseek‑r1:32b

qwen2.5‑vl，多模态模型，支持图片输入识别，截图解析、图文问答场景使用。

ollama run qwen2.5‑vl:7b

gemma3，轻量高效，对硬件要求低，老旧低配电脑也可以流畅运行，适合简单问答场景。

ollama run gemma3:4b

选型建议：内存8GB设备优先选择8B参数模型；16GB内存可以尝试14B；32GB内存以上可以运行32B级别模型。运行过程出现内存溢出、程序闪退，代表硬件不足以支撑当前模型，需要切换参数更小的模型版本。

新手高频踩坑点与故障排查

第一，系统盘空间被快速占满。根源是模型文件默认存储C盘，没有修改存储路径。解决：安装完成第一时间配置OLLAMA_MODELS环境变量，迁移模型目录，不要把大模型放在系统盘。

第二，模型运行卡顿，响应速度极慢。优先确认显卡硬件加速是否生效；没有独立显卡设备属于CPU推理，速度慢属于正常现象，建议降低模型参数档位，不要强行跑大参数模型。

第三，其他设备无法访问Ollama接口。默认服务绑定127.0.0.1，仅本机访问，需要设置OLLAMA_HOST=0.0.0.0，同时防火墙放行11434端口，修改配置之后必须重启服务才会生效。

第四，下载模型速度慢或者下载中断。网络环境不佳会出现该现象，可以手动下载GGUF模型文件，通过Modelfile导入本地模型，避免在线拉取失败。

第五，内存爆满，程序闪退。大模型运行会大量占用内存，同时运行多个模型会加剧资源占用，使用ollama ps查看正在运行模型，执行ollama stop关闭不用的模型释放内存。

第六，不要对本地小模型抱有过高预期。7B、8B这类轻量化模型，日常问答、翻译、简单代码生成效果优秀，但是面对超长文档、超复杂逻辑推理任务，效果会弱于超大参数模型，需要根据实际业务选择合适规格。

总结

Ollama把本地部署大模型这件事的门槛降到极低，普通个人电脑就可以搭建一套离线私有AI，数据全部保存在本机，不受网络限制，没有调用次数的限制。整套流程的核心要点：安装软件之后优先调整模型存储路径，保护系统磁盘空间；根据自身硬件内存显存选择对应参数档位模型，不要盲目追求高参数；熟练掌握ollama系列命令，管理模型下载、停止、删除；利用内置API接口，对接各类第三方工具，拓展本地AI的使用场景。

很多新手一上来就直接下载超大参数模型，硬件不匹配导致卡顿闪退，体验很差。建议从8B级别模型入手，完整跑通下载、对话、API调用整套流程，熟悉工具特性之后，再根据硬件条件升级更大参数模型。开源大模型生态迭代速度很快，Ollama版本持续更新，不断优化内存调度、显卡加速，后续会进一步降低本地部署的硬件门槛，是每一个AI开发者值得掌握的工具。