单台 8 * 128G 的服务器,最少需要多少台能部署正式版的DeepSeek-V4-Pro-0813,参数量1650.50B,怎么评估?
先别急着买服务器,DeepSeek目前没出V4。你指的应该是V3或R1(MoE架构,激活参数仅37B左右)。
如果是MoE,显存主要看激活参数量,不是总参数量。单台8卡H800(640G显存)跑INT4量化完全放得下,甚至能带一定并发。
选型建议:
硬件:必须上H800/H100 80G版本,别用低显存卡。CPU内存再大也没用,瓶颈在GPU显存和NVLink带宽。
数量:开发测试1台够跑。正式环境为了高可用和抗并发,起步建议3-4台组集群,配合vLLM或TensorRT-LLM。
避坑:如果是1650B的密集模型(非MoE),那得几十张卡,成本极高,慎选。确认清楚架构再下单。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉答疑群:44837352