十分钟私有化部署DeepSeek R1

简介: DeepSeek本地化部署支持下载1.5b、7b、8b、14b、32b等不同参数规模的大模型,适合逻辑推理和计算类问题。普通电脑建议选择1.5b模型以避免AI幻觉。部署需使用Ollama工具下载模型,并通过Chatbox AI等客户端进行配置,确保Ollama运行状态。显卡内存为主要资源占用,各模型占用情况不同,请确保硬盘空间充足。

DeepSeek本地化部署,可下载不同参数的大模型。分为1.5b、7b、8b、14b、32b。“1.5b” 中的 “b” 代表十亿,即该模型具有 15 亿个参数,其他模型依此类推。
● DeepSeek R1是深度推理模型,适合回答逻辑推理和计算类的问题,小尺寸模型在回答开放性问题时因缺失必要信息会通过推理补齐逻辑闭环,导致出现AI幻觉。普通电脑建议选择1.5b。

模型运行主要占用显卡内存,以下为各模型占用情况
image.png

部署工具

部署时需借助两款工具:

  1. Ollama:用于下载部署DeepSeek R1本地小尺寸模型
  2. Chatbox AI:提供图形化中文交互界面,同类型的工具还有Anything LLM、Cherry Studio等,原理相同。下文以Chatbox示例。

模型下载

1、下载 Ollama:https://ollama.org.cn/download/windows 运行安装包,默认安装到C盘,最好安装到固态硬盘
2、打开【命令提示符】下载模型,点开始菜单后输入cmd运行命令行窗口
8b占用5G空间,14b占用9G空间,请确保空间足够
3、输入命令 ollama run deepseek-r1:8b
此处选择需要部署的模型版本,如8b、14b,进入下载阶段
image.png
4、安装成功,提示success

客户端配置

1、下载Chatbox AI:https://chatboxai.app/zh#download
2、开始菜单打开Chatbox(注意:需保持Ollama为运行状态,关闭时无法使用本地部署DeepSeek模型)
3、可以到设置里把语言改为简体中文,save下就可以了
image.png
4、选择下载好的模型,模型提供方选ollama api
image.png
5、以上就完成了全部配置工作,可以开始使用本地运行的小尺寸DeepSeek模型啦!
6、在Chatbox客户端中,输入文字、文档等体验大模型的能力。

image.png

相关文章
|
存储 监控 安全
基于阿里云的最低成本私有化部署DeepSeek
本方案详细介绍了基于阿里云的成本优化策略与部署架构,涵盖计算、存储、网络资源选型及优化技巧。核心内容包括:突发性能实例(如`ecs.g7.large`)结合预留实例券降低计算成本;高效云盘与ESSD AutoPL分层存储设计;内网DNS优化及带宽流量包控制网络支出。同时提供负载均衡配置、自动伸缩规则与安全加固措施,确保系统稳定运行。通过七大降本技巧(如抢占式实例、智能分层存储、RDS Serverless版等),实现总月成本控制在¥450左右,仅为传统方案的1/3以下。最后附带成本监控仪表盘与持续优化建议,助力企业高效管理云资源。
1597 7
|
弹性计算 自然语言处理 测试技术
30分钟私有部署Deepseek-R1和V3,轻松拥有企业专属超大模型
阿里云计算巢推出了基于 ECS镜像、Vllm和Ray集群的超大模型一键部署方案。该方案通过预置标准化环境的ECS镜像,结合自动化云资源编排模板(如Ros模板),将Deepseek-R1和Deepseek-V3的私有化部署流程简化为一键操作。用户无需深入理解底层技术细节,即可在 30分钟内 快速完成模型环境搭建与服务启动,真正实现“开箱即用”的企业级超大模型服务。
|
10月前
|
存储 安全 数据安全/隐私保护
Joplin:一款真正属于你的开源笔记与待办事项应用
Joplin是一款免费开源的笔记工具,支持Markdown、多端同步与端到端加密,保障数据自主权。支持全平台使用,可同步至云存储,真正实现隐私安全与知识自由管理,是信息时代的理想笔记伴侣。(239字)
2170 13
|
9月前
|
数据采集 存储 监控
显存不够?16G显卡驾驭13B模型的计算与优化全指南
显存不够也能玩转大模型!本文详解如何用16G显卡成功微调13B参数模型,从显存精准计算、INT8量化、LoRA低秩适配到激活检查点优化,手把手教你规避OOM风险。结合实战代码与监控技巧,显存占用压至14.5GB内,效果显著优于7B模型。低成本实现高效大模型微调,个人开发者和小团队必备指南!
|
人工智能 IDE 程序员
Qoder用户上手指南:安装、登录、快捷键、功能亮点(新用户免费领300credits,首购2美元/月)
这个容易让程序员上瘾的 Agentic Coding 平台有哪些上头的功能?对于小白开发者和资深开发者如何用好Qoder呢?
20573 6
Qoder用户上手指南:安装、登录、快捷键、功能亮点(新用户免费领300credits,首购2美元/月)
|
数据可视化 安全 JavaScript
六大开源低代码平台有哪些?是什么、优缺点、选型指南
低代码开发平台通过可视化界面和预置模块,降低开发门槛,提升效率,广泛应用于企业数字化转型。开源平台如Saltcorn、Joget DX、CUBA等提供灵活部署与自主控制,适合不同场景需求。商业平台如Zoho Creator则在易用性、安全性与生态集成方面更具优势。本文全面解析开源与商业低代码平台特点、主流产品及选型策略,助力企业高效决策。
2533 1
|
人工智能 边缘计算 自然语言处理
普通电脑也能跑AI:10个8GB内存的小型本地LLM模型推荐
随着模型量化技术的发展,大语言模型(LLM)如今可在低配置设备上高效运行。本文介绍本地部署LLM的核心技术、主流工具及十大轻量级模型,探讨如何在8GB内存环境下实现高性能AI推理,涵盖数据隐私、成本控制与部署灵活性等优势。
10570 0
普通电脑也能跑AI:10个8GB内存的小型本地LLM模型推荐
|
人工智能 Cloud Native 数据可视化
微医控股与阿里云达成战略合作,双方将携手基于通义千问大模型联合打造医疗全场景智能体,共同构建医疗垂类大模型
2025年6月17日,微医控股与阿里云达成战略合作,共建医疗AI基座及医疗全场景智能体。双方将基于通义千问大模型打造医疗垂类大模型,升级微医“5+1”智能体,并在诊断、用药、健康管理等环节深化应用。微医将结合阿里云技术优势推进IDC上云,助力AI+医疗基础设施建设,共同制定行业标准并推广城市级AI数字健共体。目前,微医AI服务已连接全国1.2万家医院和30万名医生,健康管理会员超100万。
2858 2