DeepSeek R1+Ollama+Cherry Studio实现本地知识库的搭建

简介: 本文介绍了如何使用Ollama和CherryStudio搭建本地知识库,涵盖核心组件介绍、硬件与软件准备、模型部署流程及知识库构建方法。通过配置DeepSeek R1模型、嵌入模型和Cherry Studio平台,实现本地化自然语言处理与知识检索功能。

以下是使用Ollama和CherryStudio搭建本地知识库的详细步骤和注意事项:

1.了解核心组件

  • DeepSeek R1:一个开源的本地化部署的大型语言模型(LLM),提供自然语言理解和生成能力。 模型排行网站:https://artificialanalysis.ai/https://aitools.xyz/模型测评网:https://lmarena.ai/
  • Cherry Studio :是一款集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的全能 AI 助手平台。
  • 知识库核心功能:本地文档的存储、向量化、检索与问答。

2. 准备工作

(1)硬件要求

  • 显存:建议 16GB+(如 NVIDIA RTX 4090)以运行大模型。
  • 内存:32GB+ 以保证数据处理流畅。
  • 存储:至少 50GB 空闲空间(用于模型、文档、向量数据库)。

(2)软件依赖

3. 部署流程

(1)部署 DeepSeek R1,嵌入向量模型

安装Ollama下载并安装ollama,地址:https://ollama.com/


修改安装路径ollama默认是安装到C盘,如果想要安装到D盘,则可以使用命令行进行安装。 在D盘新建一个文件夹,例如D:\ollama,用于存放ollama的安装文件和模型。打开命令行(Win+R,输入cmd),使用管理员权限运行,输入D:并回车,切换到D盘,执行命令。 安装完成后,打开CMD,输入ollama显式下面信息表示安装成功。


配置环境变量

如果希望模型下载到指定文件路径如D盘,需要配置环境变量。 首先在想要保存的盘符如D盘创建一个文件夹和子文件夹,名为ollama和ollama\models,如D:\ollama和D:\ollama\models


编辑path变量,添加该路径


新建一个名为OLLAMA_MODELS变量,值为D:\ollama\models。配置完之后需要重启ollama


下载模型并运行

在官网Models里搜索并使用 ollama run deepseek-r1 命令直接下载和配置模型,可以指定版本如 deepseek-r1:1.5b。


打开CMD,运行命令,下载模型并运行 模型下载中,可以查看下载进度


下载完成后显式success字样会自动开启对话>>>,可以输入文本测试模型是否正常运行,如“strawberry中有几个字母r?”,"9.8 和 9.11哪个数大?"收到回复表示模型成功运行。


查看已经安装过的模型,命令ollama list


同样的方法下载Embedding模型 nomic-embed-text


本地启动模型 : 直接运行命令'ollama run 模型名'可以启动对应模型,查看已经下载的模型使用命令'ollama list'


验证模型


(2)部署 Cherry Studio安装Cherry Studio访问官网下载安装包,https://cherry-ai.com/download


安装后打开运行,可以看到默认界面如下


配置模型连接本地模型连接 打开Cherry Studio,点击左下角设置-模型服务,选择Ollama,点击管理按钮,在列出的模型后面点击加号添加模型,本地模型不需要配置API密钥,添加完成即配置成功。


切换到对话窗口,在最上方可以切换模型,选择Ollama提供的配置好的模型进行对话。


成功对话,显式对应模型回复的结果。


调用线上模型连接

第三方服务商1-硅基流动 访问官网注册账号:https://cloud.siliconflow.cn/i/j6EsApl8,然后在左下角账户管理,新建API密钥。


打开Cherry Studio,点击左下角设置-模型服务,选择硅基流动,粘贴官网新建的API密钥,点击检查,出现绿色小勾则表示连接成功。


切换到对话窗口,在最上方可以切换模型,选择线上硅基流动提供的模型进行对话。


第三方服务商2-Open Router 注册Open Router账号https://openrouter.ai/,选择右上角个人账户找到Keys选项,进入后选择API Keys进行创建一个新的密钥,创建成功后复制密钥并保存在本地(密钥只会显式一次,需要妥善保存)


打开Cherry Studio,点击左下角设置-模型服务,选择OpenRouter,粘贴官网新建的API密钥,点击检查,出现绿色小勾则表示连接成功。


切换到对话窗口,在最上方可以切换模型,选择OpenRouter提供的模型进行对话。(该模型平台提供最新版本的deepseekv3-0324)


(3)构建知识库

创建知识库,点击左侧知识库-添加,输入知识库名称,选择嵌入模型,如果配置了硅基流动,可选择自带的BAAI/beg-m3,或者可以选择本ollama安装的nomic-embed-text。


点击创建的知识库,上传文件,此时上传部分格式文件如pdf可能会提示解析失败,此时我们需要到切换适合的嵌入向量模型库来处理。


添加完成后,可以在对话窗口引用向量模型进行提问


(4) 使用知识库

在对话问答框里选择对应的知识库进行提问,系统会根据知识库检索并做出回答


验证问答功能

在对话界面输入问题后,系统将自动执行以下流程:

1.问题向量化 → 2.从知识库检索相关内容 → 3.将结果拼接为Prompt → 4.调用模型生成答案。

让模型具有网络搜索能力

设置-网络搜索


在对话窗口打开网络搜索功能


Tavily 联网登录注册教程

https://docs.cherry-ai.com/websearch/tavily

更详细的知识库管理可以参考官方文档设置:

https://docs.cherry-ai.com/knowledge-base/knowledge-base

关于嵌入模型的概念说明:

https://sca.aliyun.com/en/docs/ai/tutorials/embedding/

提示词优化工具-prompt-optimizer:

prompt.always200.com

目录
相关文章
|
9月前
|
存储 人工智能 自然语言处理
DeepSeek R1+Open WebUI实现本地知识库的搭建和局域网访问
本文介绍了使用 DeepSeek R1 和 Open WebUI 搭建本地知识库的详细步骤与注意事项,涵盖核心组件介绍、硬件与软件准备、模型部署、知识库构建及问答功能实现等内容,适用于本地文档存储、向量化与检索增强生成(RAG)场景的应用开发。
3359 0
|
9月前
|
存储 资源调度 并行计算
# Qwen3-8B 与 Qwen3-14B 的 TTFT 性能对比与底层原理详解
通义千问Qwen3系列是通义实验室2025年推出的最新大模型,包含多种参数版本,其中Qwen3-8B与Qwen3-14B均支持32K token上下文。Qwen3-8B参数量较小,响应更快,适合低延迟交互;Qwen3-14B参数更多,推理更强,适用于复杂任务。两者在TTFT、架构优化、量化技术及部署方案上各有侧重,满足多样应用场景需求。
4752 10
|
7月前
|
人工智能 Ubuntu 数据可视化
【详细教程】如何在Ubuntu上本地部署Dify?
Dify 是一个开源的大语言模型应用开发平台,支持低代码/无代码开发,提供多模型接入、Agent框架、RAG检索增强生成等功能,助力快速构建AI应用。支持本地部署,提供详尽文档与可视化界面,适用于聊天助手、文本生成、自动化任务等多种场景。
6978 124
|
4月前
|
人工智能 C++
AnythingLLM vs Cherry Studio vs Chatbox:三大AI工具深度横评
本文深入对比三大AI工具:AnythingLLM、Cherry Studio与Chatbox。从易用性、功能丰富度、RAG能力、多模态支持到知识库管理,全面分析各工具优劣,并结合企业知识管理、个人创作学习等场景提供选型指南。最终指出:选择不在于“最好”,而在于“最合适”——AnythingLLM适合企业级知识体系构建,Cherry Studio助力多模态内容创作,Chatbox则以极简体验满足日常对话需求。
|
12月前
|
人工智能 Kubernetes API
Dify+DeepSeek实战教程!企业级 AI 文档库本地化部署,数据安全与智能检索我都要
接下来这篇文章,就打算用最接地气的方式,手把手带你从 0 到 1 搭建一套专属的本地知识库系统。无论你是想优化企业内部文档检索(不用担心敏感数据上传云端的风险),还是像我一样想为用户打造更智能的文档服务,都能跟着步骤一步步实现。咱们不卖关子,直接上干货
3427 14
Dify+DeepSeek实战教程!企业级 AI 文档库本地化部署,数据安全与智能检索我都要
|
9月前
|
人工智能 自然语言处理 数据可视化
企业AI落地开源五剑客:Open-WebUI、Dify、RAGFlow、FastGPT、n8n
面对企业AI落地的数据安全、技术门槛和业务整合三大痛点,本文推荐五款开源利器:Open-WebUI(零代码交互)、Dify(低代码工厂)、RAGFlow(知识处理)、FastGPT(内容生成)和n8n(流程自动化)。这些工具提供开源可控、私有化部署和模块化扩展能力,助力企业低成本构建完整AI解决方案,突破传统闭源方案的成本与灵活性限制。
|
9月前
|
存储 人工智能 自然语言处理
企业AI知识库搭建指南
中关村科金得助智能企业知识库基于AI大模型,支持多格式文档上传与自动解析,具备智能问答、内容生成、精准搜索等功能,助力企业高效构建产品文档、技术手册、FAQ等知识体系。
|
11月前
|
人工智能 文件存储 数据中心
Ollama部署本地大模型并通过Infortress APP远程访问保姆级教程
本文介绍如何快速上手本地大模型部署工具Ollama及AI远程访问工具Infortress。通过Ollama,开发者可轻松部署如Llama、Deepseek等主流开源模型,仅需几行命令即可完成安装与运行。结合Infortress,用户能实现对本地大模型的远程访问,支持多设备无缝对接,同时提供便捷的模型切换与知识库管理功能。Infortress更兼具NAS软件特性,成为个人AI数据中心的理想选择。