2
条回答
写回答
写回答
-
您好，目前我们不推荐使用多机多卡微调，如果确实有必要使用多机多卡，需要您具有一定的并行训练相关调试知识，且需要注意以下两点： 1. evaluation 设置中的 gpu_collect 需要设置成 true 2. 多机之间目前仅支持数据并行，且 ddp 封装会造成额外的显存占用，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-04-03 18:34:44赞同 展开评论 打赏 -
发表文章、提出问题、分享经验、结交志同道合的朋友支持，GPT-3 2.7B支持多机多卡微调。GPT-3 2.7B使用的是TensorFlow分布式训练框架，可以利用多台机器和多个GPU来加速微调。
2023-04-03 13:58:32赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
10379
com/action/joingroup?code=v1是什么意思
7744
我希望通过damo-YOLO训练1500*1500的图片
9003
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2478
服务器上onnxruntime-gpu 调用结束，如何释放显存
5532
我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
858
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2176
ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
1005
请问transformer里的库导入有问题是什么原因呢？目前的版本是4.19.2
1609
modelscope cache 环境变量是啥？
2924
展开全部
ColorFlow：腾讯和清华大学联合推出的图像序列着色模型，通过参考图像的颜色对黑白漫画进行着色生成彩色漫画
372
HelloMeme：开源的面部表情与姿态迁移框架，将视频中的人物表情迁移到静态图像中生成动态视频
103
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
240
Genesis：卡内基梅隆大学联合 20 多所研究机构开源生成式物理引擎，能够模拟各种材料、物体和物理运动现象
63
AniDoc：蚂蚁集团开源 2D 动画上色 AI 模型，基于视频扩散模型自动将草图序列转换成彩色动画，保持动画的连贯性
61
DisPose：清华北大等多所高校联合推出基于人物图像增强视频生成技术，实现对人物动画的准确控制和一致性
43
InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
41
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
1062
X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
45
StyleStudio：支持图像风格迁移的文生图模型，能将融合参考图像的风格和文本提示内容生成风格一致的图像
37
展开全部
