DeepSeek本地化部署,可下载不同参数的大模型。分为1.5b、7b、8b、14b、32b。“1.5b” 中的 “b” 代表十亿,即该模型具有 15 亿个参数,其他模型依此类推。
● DeepSeek R1是深度推理模型,适合回答逻辑推理和计算类的问题,小尺寸模型在回答开放性问题时因缺失必要信息会通过推理补齐逻辑闭环,导致出现AI幻觉。普通电脑建议选择1.5b。
模型运行主要占用显卡内存,以下为各模型占用情况
部署工具
部署时需借助两款工具:
- Ollama:用于下载部署DeepSeek R1本地小尺寸模型
- Chatbox AI:提供图形化中文交互界面,同类型的工具还有Anything LLM、Cherry Studio等,原理相同。下文以Chatbox示例。
模型下载
1、下载 Ollama:https://ollama.org.cn/download/windows 运行安装包,默认安装到C盘,最好安装到固态硬盘
2、打开【命令提示符】下载模型,点开始菜单后输入cmd运行命令行窗口
8b占用5G空间,14b占用9G空间,请确保空间足够
3、输入命令 ollama run deepseek-r1:8b
此处选择需要部署的模型版本,如8b、14b,进入下载阶段
4、安装成功,提示success
客户端配置
1、下载Chatbox AI:https://chatboxai.app/zh#download
2、开始菜单打开Chatbox(注意:需保持Ollama为运行状态,关闭时无法使用本地部署DeepSeek模型)
3、可以到设置里把语言改为简体中文,save下就可以了
4、选择下载好的模型,模型提供方选ollama api
5、以上就完成了全部配置工作,可以开始使用本地运行的小尺寸DeepSeek模型啦!
6、在Chatbox客户端中,输入文字、文档等体验大模型的能力。
