十分钟私有化部署DeepSeek R1

本文涉及的产品
交互式建模 PAI-DSW,每月250计算时 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
模型训练 PAI-DLC,100CU*H 3个月
简介: DeepSeek本地化部署支持下载1.5b、7b、8b、14b、32b等不同参数规模的大模型,适合逻辑推理和计算类问题。普通电脑建议选择1.5b模型以避免AI幻觉。部署需使用Ollama工具下载模型,并通过Chatbox AI等客户端进行配置,确保Ollama运行状态。显卡内存为主要资源占用,各模型占用情况不同,请确保硬盘空间充足。

DeepSeek本地化部署,可下载不同参数的大模型。分为1.5b、7b、8b、14b、32b。“1.5b” 中的 “b” 代表十亿,即该模型具有 15 亿个参数,其他模型依此类推。
● DeepSeek R1是深度推理模型,适合回答逻辑推理和计算类的问题,小尺寸模型在回答开放性问题时因缺失必要信息会通过推理补齐逻辑闭环,导致出现AI幻觉。普通电脑建议选择1.5b。

模型运行主要占用显卡内存,以下为各模型占用情况
image.png

部署工具

部署时需借助两款工具:

  1. Ollama:用于下载部署DeepSeek R1本地小尺寸模型
  2. Chatbox AI:提供图形化中文交互界面,同类型的工具还有Anything LLM、Cherry Studio等,原理相同。下文以Chatbox示例。

模型下载

1、下载 Ollama:https://ollama.org.cn/download/windows 运行安装包,默认安装到C盘,最好安装到固态硬盘
2、打开【命令提示符】下载模型,点开始菜单后输入cmd运行命令行窗口
8b占用5G空间,14b占用9G空间,请确保空间足够
3、输入命令 ollama run deepseek-r1:8b
此处选择需要部署的模型版本,如8b、14b,进入下载阶段
image.png
4、安装成功,提示success

客户端配置

1、下载Chatbox AI:https://chatboxai.app/zh#download
2、开始菜单打开Chatbox(注意:需保持Ollama为运行状态,关闭时无法使用本地部署DeepSeek模型
3、可以到设置里把语言改为简体中文,save下就可以了
image.png
4、选择下载好的模型,模型提供方选ollama api
image.png
5、以上就完成了全部配置工作,可以开始使用本地运行的小尺寸DeepSeek模型啦!
6、在Chatbox客户端中,输入文字、文档等体验大模型的能力。

image.png

相关文章
|
7月前
|
存储 监控 安全
基于阿里云的最低成本私有化部署DeepSeek
本方案详细介绍了基于阿里云的成本优化策略与部署架构,涵盖计算、存储、网络资源选型及优化技巧。核心内容包括:突发性能实例(如`ecs.g7.large`)结合预留实例券降低计算成本;高效云盘与ESSD AutoPL分层存储设计;内网DNS优化及带宽流量包控制网络支出。同时提供负载均衡配置、自动伸缩规则与安全加固措施,确保系统稳定运行。通过七大降本技巧(如抢占式实例、智能分层存储、RDS Serverless版等),实现总月成本控制在¥450左右,仅为传统方案的1/3以下。最后附带成本监控仪表盘与持续优化建议,助力企业高效管理云资源。
697 7
|
7月前
|
弹性计算 监控 并行计算
如何在阿里云上部署满血版DeepSeek
在阿里云部署“满血版”DeepSeek模型,需合理配置硬件与软件环境。首先注册阿里云账号并申请GPU计算型ECS实例(推荐V100/A10/A100),配置安全组规则。接着安装NVIDIA驱动、CUDA及Python依赖库,下载DeepSeek模型权重并克隆代码仓库。通过FastAPI编写推理接口,使用Uvicorn运行服务,支持反向代理与HTTPS配置。最后优化显存、监控性能,确保高效稳定运行。
如何在阿里云上部署满血版DeepSeek
|
弹性计算 自然语言处理 测试技术
30分钟私有部署Deepseek-R1和V3,轻松拥有企业专属超大模型
阿里云计算巢推出了基于 ECS镜像、Vllm和Ray集群的超大模型一键部署方案。该方案通过预置标准化环境的ECS镜像,结合自动化云资源编排模板(如Ros模板),将Deepseek-R1和Deepseek-V3的私有化部署流程简化为一键操作。用户无需深入理解底层技术细节,即可在 30分钟内 快速完成模型环境搭建与服务启动,真正实现“开箱即用”的企业级超大模型服务。
|
8月前
|
人工智能 自然语言处理 Shell
深度评测 | 仅用3分钟,百炼调用满血版 Deepseek-r1 API,百万Token免费用,简直不要太爽。
仅用3分钟,百炼调用满血版Deepseek-r1 API,享受百万免费Token。阿里云提供零门槛、快速部署的解决方案,支持云控制台和Cloud Shell两种方式,操作简便。Deepseek-r1满血版在推理能力上表现出色,尤其擅长数学、代码和自然语言处理任务,使用过程中无卡顿,体验丝滑。结合Chatbox工具,用户可轻松掌控模型,提升工作效率。阿里云大模型服务平台百炼不仅速度快,还确保数据安全,值得信赖。
358497 71
深度评测 | 仅用3分钟,百炼调用满血版 Deepseek-r1 API,百万Token免费用,简直不要太爽。
|
7月前
|
人工智能 前端开发 API
人人都是应用开发者:AI时代的全栈产品经理实践
本文试图最短路径、最轻模式来做一个应用,实现一个需求!仅需三大步+9小步,以下为手把手教学流程。
452 10
|
7月前
|
人工智能 自然语言处理 开发者
魔搭社区模型速递(2.16-3.1)
🙋魔搭ModelScope本期社区进展:📟2621个模型,Ovis2系列模型等,📁276个数据集,🎨203个创新应用,📄 12篇技术内容
506 2
|
7月前
|
语音技术 网络架构 开发者
HumanOmni:首个专注人类中心场景的多模态大模型,视觉与听觉融合的突破!
HumanOmni是业内首个理解以人为中心的场景,可以同时处理视觉信息、音频信息的多模态大模型。
399 9
HumanOmni:首个专注人类中心场景的多模态大模型,视觉与听觉融合的突破!
|
7月前
|
开发者 异构计算
高效部署通义万相Wan2.1:ComfyUI文生/图生视频实战,工作流直取!
通义万相Wan2.1开源不到一周,已登顶HuggingFace Model 和 Space 榜双榜首,在HuggingFace和ModelScope平台的累计下载量突破100万次,社区热度持续攀升!为响应小伙伴们对ComfyUI工作流运行Wan2.1的强烈需求,社区开发者整理了实战教程👇
6310 23
高效部署通义万相Wan2.1:ComfyUI文生/图生视频实战,工作流直取!
|
8月前
|
存储 人工智能 API
DeepSeek——DeepSeek模型部署实战
本文介绍了DeepSeek大模型的本地部署方法、使用方式及API接入。首先,通过下载Ollama平台部署DeepSeek-R1模型,提供7种不同参数版本(1.5b至671b),用户可根据硬件选择合适的模型大小。接着,文章详细描述了如何在终端运行命令启动模型,并通过Chatbox官网下载并接入DeepSeek API,实现本地和云端模型的交互。最后,提及了DeepSeek官网和集成工具如POE的使用,帮助用户更好地利用DeepSeek进行开发和应用。
|
7月前
|
机器学习/深度学习 人工智能 物联网
MiniMind:2小时训练出你的专属AI!开源轻量级语言模型,个人GPU轻松搞定
MiniMind 是一个开源的超小型语言模型项目,帮助开发者以极低成本从零开始训练自己的语言模型,最小版本仅需25.8M参数,适合在普通个人GPU上快速训练。
1401 10
MiniMind:2小时训练出你的专属AI!开源轻量级语言模型,个人GPU轻松搞定

热门文章

最新文章