DeepSeek R1+Ollama+Cherry Studio实现本地知识库的搭建

简介: 本文介绍了如何使用Ollama和CherryStudio搭建本地知识库,涵盖核心组件介绍、硬件与软件准备、模型部署流程及知识库构建方法。通过配置DeepSeek R1模型、嵌入模型和Cherry Studio平台,实现本地化自然语言处理与知识检索功能。

以下是使用Ollama和CherryStudio搭建本地知识库的详细步骤和注意事项:

1.了解核心组件

  • DeepSeek R1:一个开源的本地化部署的大型语言模型(LLM),提供自然语言理解和生成能力。 模型排行网站:https://artificialanalysis.ai/https://aitools.xyz/模型测评网:https://lmarena.ai/
  • Cherry Studio :是一款集多模型对话、知识库管理、AI 绘画、翻译等功能于一体的全能 AI 助手平台。
  • 知识库核心功能:本地文档的存储、向量化、检索与问答。

2. 准备工作

(1)硬件要求

  • 显存:建议 16GB+(如 NVIDIA RTX 4090)以运行大模型。
  • 内存:32GB+ 以保证数据处理流畅。
  • 存储:至少 50GB 空闲空间(用于模型、文档、向量数据库)。

(2)软件依赖

3. 部署流程

(1)部署 DeepSeek R1,嵌入向量模型

安装Ollama下载并安装ollama,地址:https://ollama.com/


修改安装路径ollama默认是安装到C盘,如果想要安装到D盘,则可以使用命令行进行安装。 在D盘新建一个文件夹,例如D:\ollama,用于存放ollama的安装文件和模型。打开命令行(Win+R,输入cmd),使用管理员权限运行,输入D:并回车,切换到D盘,执行命令。 安装完成后,打开CMD,输入ollama显式下面信息表示安装成功。


配置环境变量

如果希望模型下载到指定文件路径如D盘,需要配置环境变量。 首先在想要保存的盘符如D盘创建一个文件夹和子文件夹,名为ollama和ollama\models,如D:\ollama和D:\ollama\models


编辑path变量,添加该路径


新建一个名为OLLAMA_MODELS变量,值为D:\ollama\models。配置完之后需要重启ollama


下载模型并运行

在官网Models里搜索并使用 ollama run deepseek-r1 命令直接下载和配置模型,可以指定版本如 deepseek-r1:1.5b。


打开CMD,运行命令,下载模型并运行 模型下载中,可以查看下载进度


下载完成后显式success字样会自动开启对话>>>,可以输入文本测试模型是否正常运行,如“strawberry中有几个字母r?”,"9.8 和 9.11哪个数大?"收到回复表示模型成功运行。


查看已经安装过的模型,命令ollama list


同样的方法下载Embedding模型 nomic-embed-text


本地启动模型 : 直接运行命令'ollama run 模型名'可以启动对应模型,查看已经下载的模型使用命令'ollama list'


验证模型


(2)部署 Cherry Studio安装Cherry Studio访问官网下载安装包,https://cherry-ai.com/download


安装后打开运行,可以看到默认界面如下


配置模型连接本地模型连接 打开Cherry Studio,点击左下角设置-模型服务,选择Ollama,点击管理按钮,在列出的模型后面点击加号添加模型,本地模型不需要配置API密钥,添加完成即配置成功。


切换到对话窗口,在最上方可以切换模型,选择Ollama提供的配置好的模型进行对话。


成功对话,显式对应模型回复的结果。


调用线上模型连接

第三方服务商1-硅基流动 访问官网注册账号:https://cloud.siliconflow.cn/i/j6EsApl8,然后在左下角账户管理,新建API密钥。


打开Cherry Studio,点击左下角设置-模型服务,选择硅基流动,粘贴官网新建的API密钥,点击检查,出现绿色小勾则表示连接成功。


切换到对话窗口,在最上方可以切换模型,选择线上硅基流动提供的模型进行对话。


第三方服务商2-Open Router 注册Open Router账号https://openrouter.ai/,选择右上角个人账户找到Keys选项,进入后选择API Keys进行创建一个新的密钥,创建成功后复制密钥并保存在本地(密钥只会显式一次,需要妥善保存)


打开Cherry Studio,点击左下角设置-模型服务,选择OpenRouter,粘贴官网新建的API密钥,点击检查,出现绿色小勾则表示连接成功。


切换到对话窗口,在最上方可以切换模型,选择OpenRouter提供的模型进行对话。(该模型平台提供最新版本的deepseekv3-0324)


(3)构建知识库

创建知识库,点击左侧知识库-添加,输入知识库名称,选择嵌入模型,如果配置了硅基流动,可选择自带的BAAI/beg-m3,或者可以选择本ollama安装的nomic-embed-text。


点击创建的知识库,上传文件,此时上传部分格式文件如pdf可能会提示解析失败,此时我们需要到切换适合的嵌入向量模型库来处理。


添加完成后,可以在对话窗口引用向量模型进行提问


(4) 使用知识库

在对话问答框里选择对应的知识库进行提问,系统会根据知识库检索并做出回答


验证问答功能

在对话界面输入问题后,系统将自动执行以下流程:

1.问题向量化 → 2.从知识库检索相关内容 → 3.将结果拼接为Prompt → 4.调用模型生成答案。

让模型具有网络搜索能力

设置-网络搜索


在对话窗口打开网络搜索功能


Tavily 联网登录注册教程

https://docs.cherry-ai.com/websearch/tavily

更详细的知识库管理可以参考官方文档设置:

https://docs.cherry-ai.com/knowledge-base/knowledge-base

关于嵌入模型的概念说明:

https://sca.aliyun.com/en/docs/ai/tutorials/embedding/

提示词优化工具-prompt-optimizer:

prompt.always200.com

目录
相关文章
|
6月前
|
存储 人工智能 自然语言处理
DeepSeek R1+Open WebUI实现本地知识库的搭建和局域网访问
本文介绍了使用 DeepSeek R1 和 Open WebUI 搭建本地知识库的详细步骤与注意事项,涵盖核心组件介绍、硬件与软件准备、模型部署、知识库构建及问答功能实现等内容,适用于本地文档存储、向量化与检索增强生成(RAG)场景的应用开发。
2311 0
|
6月前
|
存储 资源调度 并行计算
# Qwen3-8B 与 Qwen3-14B 的 TTFT 性能对比与底层原理详解
通义千问Qwen3系列是通义实验室2025年推出的最新大模型,包含多种参数版本,其中Qwen3-8B与Qwen3-14B均支持32K token上下文。Qwen3-8B参数量较小,响应更快,适合低延迟交互;Qwen3-14B参数更多,推理更强,适用于复杂任务。两者在TTFT、架构优化、量化技术及部署方案上各有侧重,满足多样应用场景需求。
3787 10
|
6月前
|
人工智能 自然语言处理 数据可视化
企业AI落地开源五剑客:Open-WebUI、Dify、RAGFlow、FastGPT、n8n
面对企业AI落地的数据安全、技术门槛和业务整合三大痛点,本文推荐五款开源利器:Open-WebUI(零代码交互)、Dify(低代码工厂)、RAGFlow(知识处理)、FastGPT(内容生成)和n8n(流程自动化)。这些工具提供开源可控、私有化部署和模块化扩展能力,助力企业低成本构建完整AI解决方案,突破传统闭源方案的成本与灵活性限制。
|
6月前
|
存储 人工智能 自然语言处理
企业AI知识库搭建指南
中关村科金得助智能企业知识库基于AI大模型,支持多格式文档上传与自动解析,具备智能问答、内容生成、精准搜索等功能,助力企业高效构建产品文档、技术手册、FAQ等知识体系。
|
6月前
|
人工智能 数据可视化 安全
【保姆级教程】Dify+DeepSeek+MCP三件套:零门槛打造AI应用流水线,手把手实战教学!
本教程手把手教你用Dify+DeepSeek+MCP三件套零门槛搭建AI应用流水线:Dify提供可视化工作流编排,DeepSeek贡献128K长文本国产最强模型,MCP实现弹性部署。这套组合兼具低代码开发、高性能推理和灵活运维三大优势,助你快速落地企业级AI解决方案。
|
8月前
|
人工智能 文件存储 数据中心
Ollama部署本地大模型并通过Infortress APP远程访问保姆级教程
本文介绍如何快速上手本地大模型部署工具Ollama及AI远程访问工具Infortress。通过Ollama,开发者可轻松部署如Llama、Deepseek等主流开源模型,仅需几行命令即可完成安装与运行。结合Infortress,用户能实现对本地大模型的远程访问,支持多设备无缝对接,同时提供便捷的模型切换与知识库管理功能。Infortress更兼具NAS软件特性,成为个人AI数据中心的理想选择。
|
8月前
|
存储 人工智能
Ollama 本地运行 Qwen 3
本指南介绍如何安装和配置Ollama。首先,从官网下载Ollama并选择适合的安装方式:傻瓜式安装或指定路径安装。安装完成后,可通过系统环境变量配置模型下载路径(可选)。最后,运行对应模型命令进行测试使用,包括选择参数量、复制命令并在命令行工具中执行,验证安装是否成功。
4132 19
|
10月前
|
人工智能 测试技术 API
Ollama本地模型部署+API接口调试超详细指南
本文介绍了如何使用Ollama工具下载并部署AI大模型(如DeepSeek-R1、Llama 3.2等)。首先,访问Ollama的官方GitHub页面下载适合系统的版本并安装。接着,在终端输入`ollama`命令验证安装是否成功。然后,通过命令如`ollama run Llama3.2`下载所需的AI模型。下载完成后,可以在控制台与AI模型进行对话,或通过快捷键`control+d`结束会话。为了更方便地与AI互动,可以安装GUI或Web界面。此外,Ollama还提供了API接口,默认支持API调用,用户可以通过Apifox等工具调试这些API。

热门文章

最新文章