开发者社区 > ModelScope模型即服务 > 正文

modelscope-funasr载入模型后的内存数据形态,能否 dump 到硬盘,下次重启直接用?

modelscope-funasr载入模型后的内存数据形态,能不能 dump 到硬盘,下次重启直接读取到内存就能用,而不是要重新载入内存,耗时好几十秒。这个要怎么解决?

展开
收起
嘟嘟嘟嘟嘟嘟 2024-01-04 23:16:02 44 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Modelscope-funasr载入模型后的内存数据形态,可以通过将模型参数保存到硬盘上,然后在下次启动时直接从硬盘读取模型参数到内存中,以减少加载模型的时间。

    具体操作步骤如下:

    1. 在训练模型时,使用torch.save()函数将模型参数保存到硬盘上的文件中。例如:
    import torch
    
    # 假设你已经训练好了一个模型,命名为model
    torch.save(model.state_dict(), 'model_params.pth')
    
    1. 在启动程序时,使用torch.load()函数从硬盘上的文件中读取模型参数,并将其加载到内存中的模型中。例如:
    import torch
    from modelscope_funasr import Model
    
    # 创建一个新的模型实例
    model = Model()
    
    # 从硬盘上读取模型参数
    model.load_state_dict(torch.load('model_params.pth'))
    
    # 将模型设置为评估模式
    model.eval()
    

    通过以上步骤,你可以在下次启动程序时直接从硬盘读取模型参数,而不需要重新加载整个模型,从而减少了加载模型的时间。

    2024-01-05 10:02:45
    赞同 展开评论 打赏
  • 你说的这个,估计需要自己手写一个c++ 引擎才可以实现。此回答整理自钉群“modelscope-funasr社区交流”

    2024-01-04 23:22:13
    赞同 展开评论 打赏

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

相关电子书

更多
ModelScope助力语音AI模型创新与应用 立即下载
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载