手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手

本文涉及的产品
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_基础版,每接口每天50万次
简介: DeepSeek R1 + LobeChat + Ollama:快速本地部署模型,创建个性化 AI 助手

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


快速介绍

deepseek

DeepSeek R1 是由深度求索(DeepSeek)公司推出并开源的第一代推理模型,在数学、代码和推理任务上的性能与OpenAI-o1相当。

ollama

Ollama 是一个开源工具,简化了大型语言模型(LLM)在本地环境的部署与管理。它支持多种主流模型(如 Llama 3、Mistral 等),用户可通过命令行快速下载、运行和微调模型,无需依赖云端服务。

lobechat

LobeChat 是一款开源的聊天机器人界面框架,支持无缝集成多种大模型(如 GPT、Claude 或本地部署的 Ollama 模型),以及插件扩展机制(如联网搜索、文件解析),提供直观的用户交互体验。

利用 Ollama 快速本地部署 DeepSeek R1 模型

1. 安装 Ollama

访问 Ollama 官网进行下载,根据操作系统选择对应版本:

Ollama 官网下载地址https://ollama.com/download

ollama_download

  • Windows / macOS:直接下载安装包,双击运行并按提示安装。

  • Linux:执行命令运行一键安装脚本

    curl -fsSL https://ollama.com/install.sh | sh
    

2. 启动 Ollama

安装完成后需要启动 Ollama。注意!Ollama 并没有图形化的操作界面,而是作为服务在后台运行。

  • Windows/macOS:安装后会自动启动服务,在任务栏/菜单栏中会显示 Ollama 的应用图标,如果没有自动启动,可以通过双击应用图标手动启动。

  • Linux:需运行命令手动启动服务:

    systemctl start ollama
    

3. 了解 Ollama 模型库

Ollama 模型库 是 Ollama 官方维护的 预训练大语言模型(LLM)集合,它类似于一个“模型应用商店”,提供开箱即用的模型下载与管理服务。用户无需手动配置模型参数或格式,可直接通过命令行快速调用、运行和微调模型。

ollama_models

4. 了解 DeepSeek-R1 模型的参数规模

访问 Ollama 模型库中 DeepSeek-R1 模型的介绍页,可以看到其支持不同参数规模的模型。

ollama_deepseek-r1

在人工智能领域,模型名称中的 B(如1.5B、7B、70B)代表 Billion(十亿),即模型的参数规模。例如,70B 表示模型包含约 700 亿个可训练参数。参数数量直接反映了模型的复杂度和能力,不同规模的模型在性能、资源需求和适用场景上差异显著。

在这里我们应该根据自己的电脑硬件配置和需求,按照以下表格选择合适的参数规模的 DeepSeek-R1 模型。

DeepSeek R1 参数规模与硬件配置对照表

模型规模 量化等级推荐 Apple Silicon (M系列) 配置要求 x86 (AMD/Intel) 配置要求 适用场景
1.5B 8-bit 或 4-bit - 最低配置:M1 8GB RAM(纯CPU)
- 建议配置:M1/M2 16GB RAM
- 最低配置:i5/R5 + 8GB RAM(无GPU)
- 建议配置:核显(如Intel Iris Xe) + 16GB RAM
轻量级对话、简单文本生成
7B 6-bit 或 4-bit - 最低配置:M1 16GB RAM(纯CPU)
- 建议配置:M2/M3 24GB RAM(GPU加速)
- 最低配置:i7/R7 + 16GB RAM + 6GB显存(如RTX 3060)
- 建议配置:RTX 4070 或同级显卡 + 32GB RAM
通用对话、代码生成、文案创作
8B 5-bit 或 4-bit - 最低配置:M2 24GB RAM(GPU加速)
- 建议配置:M3 Max 48GB RAM
- 最低配置:i9/R9 + 32GB RAM + 8GB显存(如RTX 3080)
- 建议配置:RTX 4080 + 64GB RAM
复杂推理、长文本生成
14B 4-bit 或 3-bit - 最低配置:M2 Ultra 64GB RAM(GPU加速)
- 建议配置:M3 Max 128GB RAM
- 最低配置:RTX 4090 24GB显存 + 64GB RAM
- 建议配置:双卡(如双RTX 4090) + 128GB RAM
专业级数据分析、多轮复杂交互
32B 3-bit 或 2-bit - 仅限 M3 Ultra 192GB RAM(需量化优化) - 最低配置:双RTX 6000 Ada 48GB显存 + 128GB RAM
- 建议配置:服务器级硬件(如A100/H100)
科研计算、大规模知识检索
70B 2-bit 或 低精度优化 - 不推荐,需云端协作 - 仅限多卡服务器(如4x RTX 4090/A100) 企业级私有化部署
671B 需专用优化 - 无法本地运行 - 需分布式计算集群(如GPU农场) 超大规模模型研究

5. 下载和运行 DeepSeek R1 模型

确保 Ollama 服务正常运行后,在控制台执行如下命令:

ollama run deepseek-r1

注意!该命令默认拉取的是 7B 的 DeepSeek R1 模型,如果想使用其他参数规模的模型,就需要在模型名称后面追加指定指定的参数规模。例如:

ollama run deepseek-r1:8b

执行命令后,Ollama 会自动下载并运行 DeepSeek R1 模型。

ollama_run

如上图,模型运行成功后,会在控制台出现输入提示。输入内容就可以直接跟模型交互,模型的输出内容也会完整地显示在控制台中。

至此,你已经学会如何利用 Ollama 快速拉取和本地部署大模型了。

Ollama 不止支持 DeepSeek R1 这类大语言模型,在 Ollama 模型库中你还可以找到其他的视觉语言模型、向量模型等 AI 模型,通过对应介绍页的命令同样可以快速地将其拉取到本地部署和运行。

通过控制台能够与大模型完成交互操作,但始终是不够优雅,下面让我们使用 LobeChat 来更加优雅地与模型进行交互。

私有化部署 LobeChat 打造个性化 AI 助手

1. 安装 Docker 容器环境(如果已安装,请跳过此步)

为了私有化部署 LobeChat,我们还需要 Docker 作为服务支持。

这里我们选择下载Docker Desktop,它的优势在于安装 Docker 服务的同时还提供了一个 Docker 可视化交互界面,能够非常直观地看到 Docker 服务的运行状态,以及当前运行的 Docker 容器。

docker_get-started

选择对应操作系统的 Docker Desktop 进行安装即可,安装包提供了完整的安装步骤,全程直接下一步就行了,这里就不多赘述了。

2. 通过 Docker Compose 部署 LobeChat

在你的工作目录下,新建一个文件并命名为docker-compose,编辑文件内容如下:

version: '3.8'

services:
  lobe-chat:
    image: lobehub/lobe-chat
    container_name: lobe-chat
    restart: always
    ports:
      - '3210:3210'
    environment:
      ACCESS_CODE: lobe66

打开控制台,运行以下命令,将会自动拉取并启动 LobeChat 服务:

docker-compose up -d

启动成功后,打开 Docker Desktop 可以看到运行中的 LobeChat 服务及运行的端口:

docker_lobechat

LobeChat 服务默认运行在3210端口,通过浏览器访问 LobeChat 应用:

http://localhost:3210/chat

界面如下:

lobechat_index

3. 配置 Ollama 作为模型服务端

点击 LobeChat 左上角的 Logo 后进入应用设置页面:

lobechat_user

在打开的应用设置页面中,找到语言模型设置,可以看到 LobeChat 支持了许多主流的模型服务接口,包括 Ollama 服务:

lobechat_model_setting

点击 Ollama 并打开选项后,可以看到 Ollama 服务的相关配置,启动的 Ollama 服务默认运行在11434端口,所以这里 Ollama 的服务地址默认即可,主要配置的是模型列表。

4. 配置 DeepSeek R1 模型

确保 Ollama 服务正在运行,点击获取模型列表可以获取 Ollama 当前下载的模型列表:

lobechat_get_ollama_models

如果你已经按照前面的步骤通过 Ollama 成功下载了 DeepSeek R1 模型,那么就可以在更新后的模型列表中找到并选择 DeepSeek R1 模型:

lobechat_set_ollama_deepseek-r1

点击连通性检查,可以检查 Ollama 服务的配置是否正确,运行状态和模型交互是否正常:

lobechat_ollama_check

5. 通过 LobeChat 与 DeepSeek R1 模型交互

回到 LobeChat 的应用主页,点击当前对话的 AI 助手,如图所示,点击选项后会弹出模型设置中配置完成的模型列表。

这里我们选择上一步配置完成的 DeepSeek R1 模型作为交互对象:

lobechat_select_model

至此,你已经能够通过 LobeChat 配置 Ollama 模型,接下来你可以像聊天一样,发送输入的内容与模型完成交互:

lobechat_chat

6. 打造个性化 AI 助手

lobechat_new_chat

点击新建助手按钮后将会新建一个新的对话,同时它也是一个支持自定义的 AI 助手:

lobechat_customer

点击助手设置(会话设置),在角色设定中可以配置当前 AI 助手的系统提示词(System Prompt),这是用于定义助手行为、个性和任务范围的核心指令。

通过设置系统提示词向模型提供明确的约束条件,将会直接影响助手的输出风格、内容质量和交互方式,是打造个性化 AI 助手的关键所在。

lobechat_chat_setting

除了配置 AI 助手的系统提示词,还可以配置当前会话的模型参数,一般默认即可:

lobechat_chat_model_setting

现在,你可以按照自己的想法和创意,设置个性化的角色 Prompt 提示词,打造个性化的 AI 助手了!

lobechat_customer_test

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
6天前
|
机器学习/深度学习 物联网 PyTorch
小白避坑指南:国内用Colossal-AI微调DeepSeek 1.5B的完整踩坑记录(附镜像加速方案)
本文详细记录了使用Colossal-Ai对DeepSeek-Qwen模型进行微调的过程,包括模型下载、环境部署、数据集处理及代码实现等环节。重点介绍了LoRA低秩适配方法和Colossal-Ai分布式训练框架的使用技巧,解决了模型封装后函数调用冲突、梯度检查点配置等问题。通过命令行参数灵活调整训练配置,最终在两块A100 GPU上完成训练,单卡显存占用约11GB,利用率达85%。文章总结了常见问题及解决方法,为后续研究提供参考。
71 15
小白避坑指南:国内用Colossal-AI微调DeepSeek 1.5B的完整踩坑记录(附镜像加速方案)
|
2天前
|
人工智能 开发工具 C++
利用通义灵码AI在VS Code中快速开发扫雷游戏:Qwen2.5-Max模型的应用实例
本文介绍了如何利用阿里云通义灵码AI程序员的Qwen2.5-Max模型,在VS Code中一键生成扫雷小游戏。通过安装通义灵码插件并配置模型,输入指令即可自动生成包含游戏逻辑与UI设计的Python代码。生成的游戏支持难度选择,运行稳定无Bug。实践表明,AI工具显著提升开发效率,但人机协作仍是未来趋势。建议开发者积极拥抱新技术,同时不断提升自身技能以适应行业发展需求。
13042 4
|
1天前
|
机器学习/深度学习 人工智能 数据可视化
生成AI的两大范式:扩散模型与Flow Matching的理论基础与技术比较
本文系统对比了扩散模型与Flow Matching两种生成模型技术。扩散模型通过逐步添加噪声再逆转过程生成数据,类比为沙堡的侵蚀与重建;Flow Matching构建分布间连续路径的速度场,如同矢量导航系统。两者在数学原理、训练动态及应用上各有优劣:扩散模型适合复杂数据,Flow Matching采样效率更高。文章结合实例解析两者的差异与联系,并探讨其在图像、音频等领域的实际应用,为生成建模提供了全面视角。
24 1
|
3天前
|
存储 人工智能 物联网
ACK Gateway with AI Extension:大模型推理的模型灰度实践
本文介绍了如何使用 ACK Gateway with AI Extension 组件在云原生环境中实现大语言模型(LLM)推理服务的灰度发布和流量分发。该组件专为 LLM 推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载感知的智能负载均衡能力。通过自定义资源(CRD),如 InferencePool 和 InferenceModel,可以灵活配置推理服务的流量策略,包括模型灰度发布和流量镜像。
|
1天前
|
机器学习/深度学习 人工智能 资源调度
从 DeepSeek 到 AI 工具箱:Websoft9 应用托管平台赋能高校教学与科研
Websoft9应用托管平台整合DeepSeek大模型与主流AI工具,助力高校教学与科研智能化转型。平台解决环境部署碎片化、资源利用低效及技术应用孤岛化等挑战,通过智能内核层、工具矩阵层和资源调度层实现高效技术融合。实际案例显示,平台显著提升教学精准度与科研协作效率,同时遵循开放兼容、安全可控等原则,推动认知增强型课堂与虚实联动实验空间的构建,为高等教育带来可持续发展的智能化基座。
25 1
|
2天前
|
机器学习/深度学习 人工智能 搜索推荐
DeepSeek 速成指南:普通人也能秒懂的 AI 实战手册
DeepSeek 是一款强大的中文大语言模型,能处理长文本、多模态输入,适用于职场、学习、生活等场景。它擅长文案创作、数据分析与复杂任务拆解,相比 ChatGPT,在中文表达和网络热梗上更具优势。掌握精准提问、结果校验和效率工具三大技能,可大幅提升使用效果。同时,避免过度依赖、隐私泄露和伦理模糊的“三大天坑”,并通过角色扮演、思维链拆解等进阶技巧挖掘潜力。DeepSeek 不是替代品,而是助力你高效完成任务、拓展知识边界的超级大脑。未来属于善于与 AI 协作的人,立即行动,设计专属协作流程!
28 0
DeepSeek 速成指南:普通人也能秒懂的 AI 实战手册
|
11天前
|
人工智能 自然语言处理 前端开发
Spring AI与DeepSeek实战二:打造企业级智能体
本文介绍如何基于Spring AI与DeepSeek模型构建企业级多语言翻译智能体。通过明确的Prompt设计,该智能体能自主执行复杂任务,如精准翻译32种ISO标准语言,并严格遵循输入格式和行为限制。代码示例展示了如何通过API实现动态Prompt生成和翻译功能,确保服务的安全性和可控性。项目已开源,提供更多细节和完整代码。 [GitHub](https://github.com/zlt2000/zlt-spring-ai-app) | [Gitee](https://gitee.com/zlt2000/zlt-spring-ai-app)
127 11
|
11天前
|
人工智能 JavaScript 前端开发
【最佳实践系列】AI程序员让我变成全栈:基于阿里云百炼DeepSeek的跨语言公告系统实战
本文介绍了如何在Java开发中通过跨语言编程,利用阿里云百炼服务平台的DeepSeek大模型生成公告内容,并将其嵌入前端页面。
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
AI 世界生存手册(二):从LR到DeepSeek,模型慢慢变大了,也变强了
大家都可以通过写 prompt 来和大模型对话,那大模型之前的算法是怎样的,算法世界经过了哪些比较关键的发展,最后为什么是大模型这条路线走向了 AGI,作者用两篇文章共5.7万字详细探索一下。 第一篇文章指路👉《AI 世界生存手册(一):从LR到DeepSeek,模型慢慢变大了,也变强了》
AI 世界生存手册(二):从LR到DeepSeek,模型慢慢变大了,也变强了
|
9天前
|
人工智能 自然语言处理 API
AI双轨革命:DeepSeek与Manus
DeepSeek与Manus是当前人工智能领域的两款明星产品,技术定位和核心能力各有千秋。DeepSeek基于混合专家模型,参数达6710亿,擅长知识推理与文本生成,提供高性价比的企业级应用;Manus采用多智能体协作架构,实现任务全流程自动化,支持跨平台工具调用。两者并非直接竞争,而是互补,共同推动AI向智慧化和实用化发展。
64 2

热门文章

最新文章