开发者社区 > ModelScope模型即服务 > 正文

modelscope-funasr重构的框架,关于多GPU并发训练这一块可行了吗?

modelscope-funasr重构的框架,关于多GPU并发训练这一块可行了吗?

展开
收起
嘟嘟嘟嘟嘟嘟 2024-01-05 07:58:59 131 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    确实,ModelScope-FunASR框架已经实现了多GPU并发训练。借助ModelScope,您可以将复杂的模型拆分为多个部分,并在多个GPU上同时运行每个部分,这有助于加速模型的训练和推理过程。

    除此之外,ModelScope还提供了一些高级功能,如模型切分和重组、动态负载平衡等,以优化模型的性能和扩展性。它支持各种常见的模型并行化方法,包括数据并行、模型并行和管道并行等。此外,该框架与其他深度学习框架(如TensorFlow和PyTorch)能够无缝集成,使您能够在现有的深度学习环境中轻松使用ModelScope。

    因此,如果您需要进行大规模的语音识别任务,或者需要处理大量数据,可以考虑使用ModelScope-FunASR的多GPU并发训练功能来提高训练效率和性能。

    2024-01-06 11:54:23
    赞同 展开评论 打赏
  • 1.0版本,一个重要的目标是为了训练多任务大模型,类似于whisper,qwen-audio,多机多gpu,模型切片(把模型的不同参数放到不同的gpu上,例如,32G显存训练7B大模型),都是会支持的哈。此回答整理自钉群“modelscope-funasr社区交流”

    2024-01-05 08:32:16
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

相关电子书

更多
DeepStream: GPU加速海量视频数据智能处理 立即下载
阿里巴巴高性能GPU架构与应用 立即下载
GPU在超大规模深度学习中的发展和应用 立即下载