ModelScope如果是多显卡环境，模型底层自动会充分利用多卡算力与显存吗？

在ModelScope中，如果你处在多显卡环境下，设置device_map='auto'，训练在ModelScope中，如果你处在多显卡环境下，设置device_map='auto'，训练时会进行数据并行。例如，小批量的数据样本会被划分并复制到各块显卡的显存上，同时也会从各块显卡的显存上收集梯度并进行求和，最后再广播到所有显卡上。这样的设计让模型底层能自动充分利用多卡算力与显存。然而，这并不意味着你不需要关注显存的使用情况。实际上，显存的管理仍然是一个需要注意的问题。例如，当模型不再需要使用GPU内存时，PyTorch会自动释放这部分资源。但在某些情况下，你可能想要显式地释放GPU内存，这时可以使用torch.cuda.empty_cache()函数。此外，值得注意的是，一台机器上的多张显卡的显存是不会叠加的。所以，虽然device_map='auto'可以在大部分情况下自动管理多卡环境，但在特定任务和环境下，可能还需要应用层自己处理一些逻辑来更好地管理和利用显存资源。

推理目前还不支持多卡，训练可以。，此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”