开发者社区 > ModelScope模型即服务 > 正文

ModelScope中能否把两块显卡合并到一起拥有48GB,能否搭建38GB的大模型呢?

"在本地搭建通义千问14B的大模型,假设需要占用显存38GB,现在只有一块A5000显卡(显存是24GB),再买一块一样的A5000显卡, ModelScope中能否把两块显卡合并到一起拥有48GB,能否搭建38GB的大模型呢?
"

展开
收起
小小爱吃香菜 2024-03-12 17:41:58 39 0
2 条回答
写回答
取消 提交回答
  • "e0f785effad974a48a0f97f90e5f36fa.png
    https://github.com/QwenLM/Qwen/blob/main/README_CN.md https://github.com/QwenLM/Qwen1.5 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”"

    2024-03-12 20:28:33
    赞同 展开评论 打赏
  • 在现代GPU架构中,即使显卡支持交火(AMD CrossFire)或SLI(NVIDIA Scalable Link Interface)技术,这些技术主要用于提升图形渲染性能,而非显存容量的累加。对于深度学习框架而言,它们通常需要独立管理每块显卡的显存,并且在多卡并行计算时(如数据并行、模型并行),各自负责一部分模型的存储和计算,而不是将所有显存统一视作一个大池子。

    2024-03-12 18:14:52
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
视觉AI能力的开放现状及ModelScope实战 立即下载
ModelScope助力语音AI模型创新与应用 立即下载
低代码开发师(初级)实战教程 立即下载