在ModelScope中，modelscope有调用ddp进行分布式训练的教程吗？
modelscope有调用ddp进行分布式训练的教程吗？我看ddp_hook的代码里有TODO注释，是目前还不支持吗
展开
收起
2
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。在 ModelScope 中，目前还没有提供特定的教程或文档关于如何使用 DDP（Distributed Data Parallel）进行分布式训练。这是因为 ModelScope 的主要目标是提供一个模型库和模型评估平台，而不是专注于分布式训练。
在 ModelScope 中，您可以使用 ModelScope 提供的模型库中的预训练模型，并使用它们进行单机训练和评估。ModelScope 并未提供直接支持 DDP 的功能或教程。
如果您对分布式训练有特定需求，建议您参考 PyTorch 官方文档中关于 DDP 的内容。PyTorch 提供了强大且易于使用的 DDP 模块，可以帮助您进行分布式训练。您可以在 PyTorch 的文档中找到有关如何设置和使用 DDP 的详细说明。
请注意，在 ModelScope 中使用 DDP 可能需要一些自定义工作，并与 ModelScope 的环境和平台进行集成。如果您希望在 ModelScope 中使用 DDP 进行分布式训练，您可能需要自行实现相应的逻辑，并将其与 ModelScope 平台进行集成。
2023-11-30 15:08:02赞同 展开评论 打赏 -
这个是教程
https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/README_CN.md 。此回答整理自钉钉群：魔搭ModelScope开发者联盟群 ①2023-11-29 22:40:40赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
10411
com/action/joingroup?code=v1是什么意思
7794
我希望通过damo-YOLO训练1500*1500的图片
9027
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2498
服务器上onnxruntime-gpu 调用结束，如何释放显存
5549
我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
870
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
2192
请问transformer里的库导入有问题是什么原因呢？目前的版本是4.19.2
1622
modelscope cache 环境变量是啥？
2936
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1962
展开全部
ColorFlow：腾讯和清华大学联合推出的图像序列着色模型，通过参考图像的颜色对黑白漫画进行着色生成彩色漫画
401
HelloMeme：开源的面部表情与姿态迁移框架，将视频中的人物表情迁移到静态图像中生成动态视频
115
EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
271
TRELLIS：微软联合清华和中科大推出的高质量 3D 生成模型，支持局部控制和多种输出格式
60
InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
58
DisPose：清华北大等多所高校联合推出基于人物图像增强视频生成技术，实现对人物动画的准确控制和一致性
58
CLEAR：新加坡国立大学推出线性注意力机制，使8K图像的生成速度提升6.3倍，显著减少了计算量和时间延迟
48
LeviTor：蚂蚁集团开源3D目标轨迹控制视频合成技术，能够控制视频中3D物体的运动轨迹
46
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
1076
AniDoc：蚂蚁集团开源 2D 动画上色 AI 模型，基于视频扩散模型自动将草图序列转换成彩色动画，保持动画的连贯性
72
展开全部
