2
条回答
写回答
写回答
-
您好，目前我们不推荐使用多机多卡微调，如果确实有必要使用多机多卡，需要您具有一定的并行训练相关调试知识，且需要注意以下两点： 1. evaluation 设置中的 gpu_collect 需要设置成 true 2. 多机之间目前仅支持数据并行，且 ddp 封装会造成额外的显存占用，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-04-03 18:34:44赞同 展开评论 打赏 -
发表文章、提出问题、分享经验、结交志同道合的朋友支持，GPT-3 2.7B支持多机多卡微调。GPT-3 2.7B使用的是TensorFlow分布式训练框架，可以利用多台机器和多个GPU来加速微调。
2023-04-03 13:58:32赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
9575
com/action/joingroup?code=v1是什么意思
7051
我希望通过damo-YOLO训练1500*1500的图片
8618
服务器上onnxruntime-gpu 调用结束，如何释放显存
5186
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2179
modelscope cache 环境变量是啥？
2719
请问modelscope中，有一个依赖，kantts，要怎么安装？
1957
ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？
3443
ttsfrd 如何在windows安装
953
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
1915
展开全部
