国产NAS也支持本地部署DeepSeek了:极空间Z423上手

简介: 极空间Z423 NAS新增本地部署DeepSeek大模型功能,支持7B和14B两种参数量级模型。本文通过实际测试展示了其性能表现:14B模型运行缓慢,Token输出速度低于每秒10个,而7B模型速度稍快但仍不理想。硬件资源占用高,温度显著上升,风扇噪音增大。作者建议优化交互逻辑、提供局域网接口及更好GPU支持,并预测未来NAS可能加入GPU或NPU以提升推理能力。此功能目前更像战略布局,为后续硬件升级铺垫。

引子

这几天看到极空间官方更新了本地部署DeepSeek的功能,作为极空间的老用户,我使用的是极空间消费级NAS中的旗舰型号Z423,正好体验一下实际效果如何。

在上手极空间的DeepSeek之前,我已经在RTX4090满血版台式机、MacBook Pro M1 Pro设备上基于Ollama本地跑过14B版本的DeepSeek R1,速度起飞。虽然不奢望小NAS能跑过GPU,但希望能够达到可用的程度。

在极空间安装DeepSeek

我的极空间Z423配置如下,从中可以看到,NAS的CPU带有一个核显,可以用于视频编解码,理论上应该也能给大模型推理用。

极空间Z423设备参数

更新最新版的极空间系统以后,可以打开新增的应用“DeepSeek”,在里面就可以一键自动部署模型了,目前支持7B和14B两个参数量级的模型。

极空间DeepSeek首次打开

作为内存大户,我肯定先选择14B的模型试试水,并且将模型安装在NVME固态中,具备更快的加载速度。

作为内存大户,我肯定先选择14B的模型试试水,将模型安装在NVME固态中,具备更快的加载速度

极空间DeepSeek模型设置

等待十几分钟,模型就下载并安装好了,接下来就可以点击左上角的对话框开始聊天。

这个过程对小白比较友好,点两三下鼠标就开始本地部署了~

极空间本地DeepSeek体验

接下来就到了今天的重头戏,体验本地DeepSeek的实际效果!

我用来测试的问题是个简单的逻辑题:左手一只鸭,右手一只鸡。交换两次双手物品后,左右手中各是啥?

先来看极空间本地DeepSeek R1 14B的对话效果,如下图。可以看到,模型可以运行,但是Token输出非常慢,目测低于每秒10个Token,等思考完再输出答案,估计花都谢了,好在最后答案是正确的。

极空间本地DeepSeek R1 14B的对话效果

那么此时资源利用率如何呢?

根据下图实时的进程信息,极空间是采用了开源的llama.cpp方案运行本地模型,CPU利用率维持在50%左右,内存占了32G中的25%,正好是8G,也是模型权重文件的大小。

监控组件没有显示GPU的使用率,不过我推测实际上应该也没有用到GPU,极空间似乎没有为Z423适配GPU运行模型的参数。

极空间运行DeepSeek R1 14B的资源占用情况

对话的过程中,我听到了Z423风扇的噪音明显变大,那么此时温度如何呢?如下图所示,已经达到了74摄氏度,正常空载的温度一般在40~50摄氏度左右。

虽然Z423的AMD CPU温控一直做得不好,但这么烫我以后舍不得用它跑模型了。。。

事实上,之前我从来没考虑过用NAS跑模型,CPU推理事倍功半。

极空间运行DeepSeek R1 14B的温度情况

是不是14B的模型太大了,所以效果不好?

紧接着我也试了一下7B,实际效果大家看图吧。

极空间本地DeepSeek R1 7B的对话效果

可以看到输出速度比14B快多了,目测快了接近一倍。

虽然速度有所提高,但距离好用还是很遥远。

在满血版RTX4090上,DeepSeek R1的14B运行多快呢?请看下图!每秒输出的Token数达到了60,对用户来说已经是十分流畅的体验了!

满血版RTX4090运行DeepSeek R1 14B效果

理论上,llama.cpp比ollama的效率更高,不过如果性能够用的情况下,我会选择更简单的ollama。极空间选择llama.cpp估计是性能方面的考量更多,不过似乎目前的硬件对模型推理已经力不从心了。

总结

实际使用下来,在CPU运行的DeepSeek基本属于能跑但基本不可用的状态,瓶颈主要在于运算速度。如果能够把Z423的核显利用起来跑推理模型,相信效果会更加出色。

这里我有4个建议:

  1. 优化模型对话、不同参数的模型的切换交互逻辑,测试的时候我一度以为要把14B的模型删掉才能装7B的模型,两者不能同时共存。

  2. 提供局域网的模型接口,这样用户可以在习惯的工具中集成NAS的模型服务。

  3. 提供删除本地模型的功能,避免弃用模型长期占用系统空间。

  4. 提供更好的GPU支持,包括GPU负载监控和使用GPU进行模型推理。

我认为,本次极空间更新的DeepSeek更像是战略布局,先从软件上上线相关功能,再推出新硬件支持更快速的模型推理。这么看来的话,估计极空间今年很有可能会推出搭载了GPU或者NPU硬件新NAS。

极空间NAS的主打功能就是公网访问,官方提供代理能够访问家里的应用和数据。如果家里能流程运行私有化部署的大模型,对于用户来说又多了一个保护隐私的选择。

按照目前的趋势,下一代NAS产品或多或少都要加入GPU或者NPU的硬件。对于品牌NAS来说,新硬件带来的换机浪潮无疑是必争的业务增量,希望NSA厂商都能推出更有竞争力的产品。

目录
相关文章
|
10月前
|
资源调度 Java Serverless
Serverless 应用引擎操作报错合集之用的NAS空间,出现报错:IOException: No space left on device,是什么导致的
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
109 4
|
11月前
|
存储 人工智能 文字识别
极空间 NAS 上线“AI 实验室”功能:自然语言搜图、以图搜图、文字识别
【2月更文挑战第17天】极空间 NAS 上线“AI 实验室”功能:自然语言搜图、以图搜图、文字识别
436 5
极空间 NAS 上线“AI 实验室”功能:自然语言搜图、以图搜图、文字识别
|
存储 运维 监控
阿里云的文件存储NAS使用心得
阿里云的文件存储NAS使用心得
454 0
|
运维 文件存储 对象存储
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(三)
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(三)
418 0
|
存储 机器学习/深度学习 弹性计算
阿里云文件存储NAS简介和购买流程
阿里云文件存储NAS是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系统。兼容POSIX文件接口,可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问,您无需修改应用程序,即可无缝迁移业务系统上云。 支持智能冷热数据分层,有效降低数据存储成本。广泛应用于企业级应用数据共享、容器、AI机器学习、Web 服务和内容管理、应用程序开发和测试、媒体和娱乐工作流、数据库备份等场景。
|
存储 运维 数据安全/隐私保护
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(四)
【运维知识进阶篇】用阿里云部署kod可道云网盘(配置Redis+MySQL+NAS+OSS)(四)
403 0
|
存储 监控 安全
阿里云文件存储NAS(Apsara File Storage NAS)的测评体验报告
阿里云文件存储NAS(Apsara File Storage NAS)是一个弹性扩展的分布式文件系统,适用于各种企业级应用场景。本文将对其在内容管理系统和Web服务应用程序中的使用体验进行评估。
372 58
|
人工智能 文件存储
体验阿里云NAS+PAI-ECS部署Stable Diffusion文生图模型
当下,AIGC在生活中无处不见。作为一种新型的内容生产方式,AIGC在传媒、电商、影视等行业的作用可谓是卓有成效。我们可以用AI自主生成创造新的文本、图像、音乐、视频、3D交互内容,一定程度上为日常工作带来了很大的便利。
487 12
体验阿里云NAS+PAI-ECS部署Stable Diffusion文生图模型
|
存储 机器学习/深度学习 人工智能
玩转AIGC | 使用阿里云NAS+PAI-EAS部署Stable Diffusion文生图模型
阿里云的AIGC存储解决方案是覆盖了数据收集、模型训练以及模型推理整个生命周期,本实验场景主要覆盖模型推理过程,介绍如何使用模型在线服务(PAI-EAS)以及文件存储NAS部署AIGC应用,快速生成图片。
14020 10
玩转AIGC | 使用阿里云NAS+PAI-EAS部署Stable Diffusion文生图模型
|
存储 Apache 文件存储
Apache On Windows 如何使用阿里云NAS作为WEB站点目录
在Windows操作系统运行Apache WEB服务器的用户如何使用阿里云NAS共享作为WEB 站点目录。
362 0