modelscope-funasr重构的框架,关于多GPU并发训练这一块可行了吗?
确实,ModelScope-FunASR框架已经实现了多GPU并发训练。借助ModelScope,您可以将复杂的模型拆分为多个部分,并在多个GPU上同时运行每个部分,这有助于加速模型的训练和推理过程。
除此之外,ModelScope还提供了一些高级功能,如模型切分和重组、动态负载平衡等,以优化模型的性能和扩展性。它支持各种常见的模型并行化方法,包括数据并行、模型并行和管道并行等。此外,该框架与其他深度学习框架(如TensorFlow和PyTorch)能够无缝集成,使您能够在现有的深度学习环境中轻松使用ModelScope。
因此,如果您需要进行大规模的语音识别任务,或者需要处理大量数据,可以考虑使用ModelScope-FunASR的多GPU并发训练功能来提高训练效率和性能。
1.0版本,一个重要的目标是为了训练多任务大模型,类似于whisper,qwen-audio,多机多gpu,模型切片(把模型的不同参数放到不同的gpu上,例如,32G显存训练7B大模型),都是会支持的哈。此回答整理自钉群“modelscope-funasr社区交流”
ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352