游客x55rk7ntoj37y
游客x55rk7ntoj37y_个人页
游客x55rk7ntoj37y
文章
0
问答
1
视频
0
个人介绍
暂无个人介绍
擅长的技术
暂无更多信息
2024年06月
-
06.26 16:19:10
回答了问题
2024-06-26 16:19:10
ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
赞8 踩0 评论0
暂无更多信息
-
回答了问题
2024-06-26
ModelScope有部署qwen2-72b的么，正常推理需要多大的显存？
4张V100失败了 我看hg上写：运行BF16或FP16模型需要多卡至少144GB显存（例如2xA100-80G或5xV100-32G）；运行Int4模型至少需要48GB显存（例如1xA100-80G或2xV100-32G）。
赞8 踩0 评论0
滑动查看更多
暂无更多信息