"在本地搭建通义千问14B的大模型,假设需要占用显存38GB,现在只有一块A5000显卡(显存是24GB),再买一块一样的A5000显卡, ModelScope中能否把两块显卡合并到一起拥有48GB,能否搭建38GB的大模型呢?
"
"
https://github.com/QwenLM/Qwen/blob/main/README_CN.md https://github.com/QwenLM/Qwen1.5 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"
在现代GPU架构中,即使显卡支持交火(AMD CrossFire)或SLI(NVIDIA Scalable Link Interface)技术,这些技术主要用于提升图形渲染性能,而非显存容量的累加。对于深度学习框架而言,它们通常需要独立管理每块显卡的显存,并且在多卡并行计算时(如数据并行、模型并行),各自负责一部分模型的存储和计算,而不是将所有显存统一视作一个大池子。
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352