我本机一共4卡，请问如何使用多卡进行模型预估呢？
您好，我在使用GPU调用模型预估时，出现了显存溢出的报错：“CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 9.77 GiB total capacity; 8.05 GiB already allocated; 4.69 MiB free; 8.29 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation. See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF”，我本机一共4卡，请问如何使用多卡进行模型预估呢？
展开
收起
2
条回答
写回答
写回答
-
pipeline 推理的话可以修改 configuration.json 文件中 megatron 部分的 world_size 和 tensor_model_parallel_size 为实际并行卡数，之后直接使用 model card 中的 pipeline 示例代码即可，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-04-03 18:34:44赞同 展开评论 打赏 -
发表文章、提出问题、分享经验、结交志同道合的朋友你好，需要确保你的模型可以在多GPU环境下运行。PyTorch可以通过DataParallel或DistributedDataParallel实现多GPU并行计算。
2023-04-03 14:18:34赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
7937
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2581
ModelScope中，模型下载默认路径在哪个路径？
10488
我希望通过damo-YOLO训练1500*1500的图片
9101
ModelScope下载速度慢怎么解决？
1224
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
2015
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2245
服务器上onnxruntime-gpu 调用结束，如何释放显存
5601
如何下载modelscope模型？
1495
我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
918
展开全部
Cobalt：开源的流媒体下载工具，支持解析和下载全平台的视频、音频和图片，支持多种视频质量和格式，自动提取视频字幕
108
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
374
Infinity：字节跳动开源高分辨率图像生成模型，生成 1024x1024 的图像仅需 0.8 秒
51
极致的显存管理！6G显存运行混元Video模型
50
StoryWeaver：故事可视化生成模型，快速生成故事绘本，支持处理单角色和多角色的故事可视化任务
45
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
1119
联通元景：中国联通开源中文原生的文生图模型，优化对中文长文本和成语语义等理解
43
InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
97
DynamicControl：腾讯推出动态地条件控制图像生成框架，结合了多模态大语言模型的推理能力和文生图模型的生成能力
37
VE-Bench：北京大学开源首个针对视频编辑质量的评估指标，从多角度考虑审美并准确地评估视频编辑效果
36
展开全部
