ModelScope Swift支持yi-34b的多卡分布式微调吗?
是的,ModelScope Swift支持yi-34b的多卡分布式微调。您可以使用ModelScope提供的分布式训练功能,将模型的训练任务分配到多个GPU上进行加速。具体来说,您可以使用--distributed
参数来指定分布式训练的相关配置,例如使用多少个GPU、每个GPU的显存大小等。此外,您还可以使用--device_target
参数来指定使用的设备类型,以确保您的代码能够正确地在目标设备上运行。
支持,https://github.com/modelscope/swift/tree/main/examples/pytorch/llm/scripts 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”