在ModelScope中，14B的模型用N卡3090能跑起来吗？
14B的模型用N卡3090能跑起来吗？LLM 中模型 revision（当时适配的模型版本）， 怎么获取呢？
展开
收起
2
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看在 ModelScope 中，能否使用一张 NVIDIA GeForce RTX 3090 GPU 来运行一个大小为 14B 的模型，取决于多个因素：
GPU内存：14B 模型通常需要大量的显存来存储模型参数和执行推理过程。NVIDIA GeForce RTX 3090 GPU 拥有24GB的显存，对于绝大多数情况来说，它应该足够运行这样的模型。
平台和框架支持：您需要确保所使用的平台和深度学习框架（如TensorFlow、PyTorch等）对NVIDIA GeForce RTX 3090 GPU提供了适当的支持。这可以通过查看平台和框架的官方文档来确认。
其他硬件要求：除了显存之外，您还需要确保系统配置满足运行深度学习模型的其他硬件要求，例如CPU、内存和存储等。这些要求也可以在平台和框架的官方文档中找到。
2023-11-30 15:04:16赞同 展开评论 打赏 -
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
3872
ModelScope中，模型下载默认路径在哪个路径？
2980
我希望通过damo-YOLO训练1500*1500的图片
7128
ModelScope 使用14B模型推理时报这个错误？
959
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
1749
服务器上onnxruntime-gpu 调用结束，如何释放显存
3348
Modelscope魔塔的创空间的文件怎么下载到本地呀？
3241
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1325
联网使用问题
2548
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
1018
展开全部
