modelscope有调用ddp进行分布式训练的教程吗？我看ddp_hook的代码里有TODO注释，是目前还不支持吗
写回答
在 ModelScope 中，目前还没有提供特定的教程或文档关于如何使用 DDP（Distributed Data Parallel）进行分布式训练。这是因为 ModelScope 的主要目标是提供一个模型库和模型评估平台，而不是专注于分布式训练。
在 ModelScope 中，您可以使用 ModelScope 提供的模型库中的预训练模型，并使用它们进行单机训练和评估。ModelScope 并未提供直接支持 DDP 的功能或教程。
如果您对分布式训练有特定需求，建议您参考 PyTorch 官方文档中关于 DDP 的内容。PyTorch 提供了强大且易于使用的 DDP 模块，可以帮助您进行分布式训练。您可以在 PyTorch 的文档中找到有关如何设置和使用 DDP 的详细说明。
请注意，在 ModelScope 中使用 DDP 可能需要一些自定义工作，并与 ModelScope 的环境和平台进行集成。如果您希望在 ModelScope 中使用 DDP 进行分布式训练，您可能需要自行实现相应的逻辑，并将其与 ModelScope 平台进行集成。
这个是教程
https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/README_CN.md 。此回答整理自钉钉群：魔搭ModelScope开发者联盟群 ①
