ModelScope什么配置的才能跑 GLM-4-9B-DashInfer?
CPU: 至少16核,支持AVX2指令集,这是为了优化向量化计算性能。
内存: 鉴于模型的大小,建议至少配备64GB RAM,以应对模型运行期间的内存需求。
存储: 使用高速存储如NVMe SSD
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352