在ModelScope中，modelscope有调用ddp进行分布式训练的教程吗？
modelscope有调用ddp进行分布式训练的教程吗？我看ddp_hook的代码里有TODO注释，是目前还不支持吗
展开
收起
2
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。在 ModelScope 中，目前还没有提供特定的教程或文档关于如何使用 DDP（Distributed Data Parallel）进行分布式训练。这是因为 ModelScope 的主要目标是提供一个模型库和模型评估平台，而不是专注于分布式训练。
在 ModelScope 中，您可以使用 ModelScope 提供的模型库中的预训练模型，并使用它们进行单机训练和评估。ModelScope 并未提供直接支持 DDP 的功能或教程。
如果您对分布式训练有特定需求，建议您参考 PyTorch 官方文档中关于 DDP 的内容。PyTorch 提供了强大且易于使用的 DDP 模块，可以帮助您进行分布式训练。您可以在 PyTorch 的文档中找到有关如何设置和使用 DDP 的详细说明。
请注意，在 ModelScope 中使用 DDP 可能需要一些自定义工作，并与 ModelScope 的环境和平台进行集成。如果您希望在 ModelScope 中使用 DDP 进行分布式训练，您可能需要自行实现相应的逻辑，并将其与 ModelScope 平台进行集成。
2023-11-30 15:08:02赞同 展开评论 打赏 -
这个是教程
https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/README_CN.md 。此回答整理自钉钉群：魔搭ModelScope开发者联盟群 ①2023-11-29 22:40:40赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
9306
com/action/joingroup?code=v1是什么意思
6854
我希望通过damo-YOLO训练1500*1500的图片
8491
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2090
服务器上onnxruntime-gpu 调用结束，如何释放显存
5034
在ModelScope中，请问模型下载到本地的具体方法？
1494
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
1859
ModelScope 使用14B模型推理时报这个错误？
1757
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2580
ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
754
展开全部
YOLOv10实战：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制 | NEU-DET为案列进行展开
567
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
836
一种基于YOLOv8改进的高精度红外小目标检测算法 （原创自研）
386
视觉AI技术体系及趋势概述
538
图像分类基础与实战
664
《YOLOv8原创自研》专栏介绍 & CSDN独家改进创新实战&专栏目录
239
关于flux.1 loras的8个问题
309
AI人像动漫
1132
关键点检测从入门到进阶
1218
Stable Diffusion 介绍与入门
1559
展开全部
