Ollama是一款开源的本地大语言模型部署工具,它的主要功能是在个人电脑上快速部署和运行各种开源大语言模型。
Ollama安装
pan.quark.cn/s/f8cdbf6fe0e0
pan.xunlei.com/s/VOq6FWn70SC0moqu3aMCbsxiA1?pwd=3i88#
软件完全免费开源,没有任何使用限制。Ollama提供了针对不同操作系统的安装包。Windows用户用.exe安装程序,macOS用户用.dmg安装包,Linux用户执行如下命令安装 Ollama:
curl -fsSL https://ollama.com/install.sh | sh
Ollama的安装过程非常简单,基本上就是标准的软件安装流程。
1)我使用的是 Windows 系统,下载.exe格式的可执行文件。双击这个文件启动安装程序:
2)直接点击 Install,开始安装:
3)安装完成后,点击"Cancel"按钮退出安装程序,Ollama 会自动启动:
Ollama使用教程(新手快速入门)
1) 修改模型存储路径(非 Windows 用户可忽略)
Ollama 默认将模型存储到 C 盘(通常为C:\Users\Administrator\.ollama\models),这对 C 盘可用容量有限的小伙伴非常不友好,我们可以手动将其修改为其它非系统盘。
修改的方法很简单,进入“Settings”界面,参照下图完成修改:
2) 运行第一个模型
Ollama主要通过命令行界面进行操作。打开终端(Windows用户可以使用PowerShell或CMD),就可以开始使用Ollama了。
访问 Ollama 官网模型库:https://ollama.com/library,找到你想使用的 AI 模型,比如 deepseek:
点击 deepseek-r1,进入下图的页面,就能看到运行它的命令,是不是很简单:
这里以 qwen2.5 模型为例,在 CMD 窗口执行如下命令:
ollama run qwen2.5
耐心等待模型下载完,下载过程可能需要一些时间,具体取决于模型大小和网络速度。7B模型大约需要4GB存储空间,13B模型需要8GB,70B模型则需要40GB以上:
一切准备就绪后,就可以和 AI 模型聊天了:
对于新手用户,建议先从较小的模型开始尝试,比如llama2:7b或mistral:7b。熟悉基本操作后,再根据需求尝试更大的模型或专用模型。
最后,在介绍几个常用的命令:
# 列出已下载的模型 ollama list # 删除模型 ollama rm <模型名> # 运行模型(交互式) ollama run <模型名> # 停止运行模型 ollama stop <模型名>