在ModelScope中，modelscope有调用ddp进行分布式训练的教程吗？
modelscope有调用ddp进行分布式训练的教程吗？我看ddp_hook的代码里有TODO注释，是目前还不支持吗
展开
收起
2
条回答
写回答
写回答
-
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。在 ModelScope 中，目前还没有提供特定的教程或文档关于如何使用 DDP（Distributed Data Parallel）进行分布式训练。这是因为 ModelScope 的主要目标是提供一个模型库和模型评估平台，而不是专注于分布式训练。
在 ModelScope 中，您可以使用 ModelScope 提供的模型库中的预训练模型，并使用它们进行单机训练和评估。ModelScope 并未提供直接支持 DDP 的功能或教程。
如果您对分布式训练有特定需求，建议您参考 PyTorch 官方文档中关于 DDP 的内容。PyTorch 提供了强大且易于使用的 DDP 模块，可以帮助您进行分布式训练。您可以在 PyTorch 的文档中找到有关如何设置和使用 DDP 的详细说明。
请注意，在 ModelScope 中使用 DDP 可能需要一些自定义工作，并与 ModelScope 的环境和平台进行集成。如果您希望在 ModelScope 中使用 DDP 进行分布式训练，您可能需要自行实现相应的逻辑，并将其与 ModelScope 平台进行集成。
2023-11-30 15:08:02赞同 展开评论 打赏 -
这个是教程
https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/README_CN.md 。此回答整理自钉钉群：魔搭ModelScope开发者联盟群 ①2023-11-29 22:40:40赞同 展开评论 打赏
相关问答
热门讨论
热门文章
ModelScope中，模型下载默认路径在哪个路径？
9424
com/action/joingroup?code=v1是什么意思
6915
服务器上onnxruntime-gpu 调用结束，如何释放显存
5102
我希望通过damo-YOLO训练1500*1500的图片
8527
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2125
在ModelScope中，请问模型下载到本地的具体方法？
1525
如何下载modelscope模型？
1253
ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？
3400
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2601
ModelScope 使用14B模型推理时报这个错误？
1774
展开全部
YOLOv10实战：红外小目标实战 | 多头检测器提升小目标检测精度
859
关键点检测从入门到进阶
1241
YOLOv10实战：SPPF原创自研 | SPPF_attention，重新设计加入注意力机制 | NEU-DET为案列进行展开
579
关于flux.1 loras的8个问题
321
一种基于YOLOv8改进的高精度红外小目标检测算法 （原创自研）
397
《YOLOv8原创自研》专栏介绍 & CSDN独家改进创新实战&专栏目录
249
Stable Diffusion 介绍与入门
1568
图像分类基础与实战
670
人像抠图
990
达摩院OpenVI-视频目标跟踪ICASSP 2023 Oral 渐进式上下文Transformer跟踪器 ProContEXT
712
展开全部
