以下是使用 DeepSeek R1 和 Open WebUI 搭建本地知识库的详细步骤和注意事项:
1.了解核心组件
- DeepSeek R1:一个开源的本地化部署的大型语言模型(LLM),提供自然语言理解和生成能力。
- Open WebUI:类似 Ollama WebUI 的开源交互界面,支持通过网页与 LLM 对话,常用于 RAG(检索增强生成)场景。
- 知识库核心功能:本地文档的存储、向量化、检索与问答。
2.准备工作
(1)硬件要求
- 显存:建议 16GB+(如 NVIDIA RTX 4090)以运行大模型。
- 内存:32GB+ 以保证数据处理流畅。
- 存储:至少 50GB 空闲空间(用于模型、文档、向量数据库)。
(2) 软件依赖
- Python 3.10+ https://www.python.org/
- Ollama https://ollama.com/
- Embedding 模型:如 BAAI/bge-small-zh-v1.5(中文文本向量化),nomic-embed-text,bge-m3
3. 部署流程
(1) 部署 DeepSeek R1,嵌入向量模型下载模型: 下载并安装ollama,地址:https://ollama.com/。
在官网Models里搜索并使用 ollama run deepseek-r1 命令直接下载和配置模型,可以指定版本如 deepseek-r1:70b
同样的方法下载ollama pull nomic-embed-text模型
本地启动模型 : 直接运行命令'ollama run 模型名'可以启动对应模型,查看已经下载的模型使用命令'ollama list'
验证模型:
(2) 部署 Open WebUI
使用pip命令快速部署可以指定国内清华源下载,安装过程中如果出现报错,可能缺少Microsoft Visual C++ Build Tools依赖,可以在https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/官网下载并安装配置使用C++的桌面开发的相关依赖包。
pip install open-webui -i HYPERLINK https://pypi.tuna.tsinghua.edu.cn/simple normalLink \tdfe -10 \tdlt text \tdlf FromInput \tdsub normalLink \tdkey 4oa8akhttps://pypi.tuna.tsinghua.edu.cn/simple
启动Open WebUI 打开CMD窗口输入命令'open-webui serve'启动服务
open-webui serve
出现下面信息则启动成功
打开浏览器,输入地址http://localhost:8080/访问,首次访问需要注册一个管理员账号
(3) 构建知识库
1.创建知识库,点击工作空间-知识库,再点击右上角的‘+’新建知识库。
2.点击创建的知识库,上传文件,此时上传部分格式文件如pdf可能会提示解析失败,此时我们需要到管理页面切换默认的嵌入向量模型库来处理。
左下角点击用户打开管理员设置页面
点击文档选择本地ollama安装好的嵌入向量模型如nomic-embed-text,bge-m3,如果切换了模型,之前上传的文件需要重新上传处理
(4) 使用知识库
在对话问答框里使用#选择对应的知识库进行提问,系统会根据知识库检索并做出回答
验证问答功能:
在 Web 界面输入问题后,系统将自动执行以下流程:
问题向量化 → 2. 从知识库检索相关内容 → 3. 将结果拼接为 Prompt → 4. 调用 DeepSeek R1 生成答案。
(5) 实现局域网内访问知识库
在部署ollama的电脑上修改配置,重启后生效,访问主机IP:11434查看生效情况,网页显式“Ollama is running”则修改成功。
setx OLLAMA_HOST "0.0.0.0" setx OLLAMA_ORIGINS "*"
修改Open WebUI设置,修改ollama外部访问链接,地址为主机地址和端口
更详细的知识库管理可以参考官方文档设置:https://openwebui-doc-zh.pages.dev/features/workspace/knowledge/
关于嵌入模型的概念说明:https://sca.aliyun.com/en/docs/ai/tutorials/embedding/