modelscope-funasr用的pipeline在做, 如何把speaker model载入?

modelscope-funasr用的pipeline在做的, 这种情况下, 如何把speaker model载入呢?from funasr import AutoModel

paraformer-zh is a multi-functional asr model

use vad, punc, spk or not as you need

model = AutoModel(model="paraformer-zh", model_revision="v2.0.4",
vad_model="fsmn-vad", vad_model_revision="v2.0.4",
punc_model="ct-punc-c", punc_model_revision="v2.0.4",

              # spk_model="cam++", spk_model_revision="v2.0.2",
              )

res = model.generate(input=f"{model.model_path}/example/asr_example.wav",
batch_size_s=300,
hotword='魔搭')
print(res)

展开
收起
三分钟热度的鱼 2024-03-06 20:18:26 533 分享 版权
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    要在ModelScope-FunASR中使用pipeline加载speaker model,你可以按照以下步骤进行操作:

    1. 首先,确保你已经安装了ModelScope-FunASR库。你可以使用以下命令来安装它:

      pip install modelscope==1.12.0 funasr==1.0.10
      
    2. 导入所需的模块和类:

      from modelscope import pipelines
      from modelscope.utils.constant import Tasks
      
    3. 创建一个pipeline对象,并指定任务类型为语音分离(Speech Separation):

      pipeline = pipelines(task=Tasks.SPEECH_SEPARATION)
      
    4. 加载你的speaker model。假设你的speaker model文件名为speaker_model.pth,你可以使用以下代码加载模型:

      speaker_model = AutoModel.from_pretrained("path/to/speaker_model.pth")
      
    5. 将speaker model传递给pipeline对象:

      pipeline.set_model(speaker_model)
      

    现在,你已经成功将speaker model载入到pipeline中。你可以使用该pipeline对象来进行语音分离任务。请确保替换"path/to/speaker_model.pth"为你实际的speaker model文件路径。

    2024-03-08 19:57:01
    赞同 展开评论
  • 阿里云大降价~

    在ModelScope-Funasr中使用pipeline时,可以通过以下步骤将speaker model载入:

    1. 导入必要的库:首先,需要从modelscope.pipelines导入pipeline,这是使用pipeline的基本函数。同时,还需要从modelscope.utils.constant导入Tasks,这是用于指定任务类型的常量。
    2. 创建pipeline实例:然后,通过调用pipeline函数并传递相应的参数来创建pipeline实例。在这个例子中,参数是'auto-speech-recognition'和'damo/speech_UniASR-large_asr_2pass-zh-cn-16k-common',分别代表自动语音识别任务和使用的模型。
    3. 加载speaker model:在创建了pipeline实例后,可以通过修改pipeline的配置来加载speaker model。具体的配置方法可能会根据实际的模型和需求有所不同。
    4. 使用pipeline进行推理:最后,可以使用创建的pipeline实例进行推理,即将音频数据输入到pipeline中,然后得到识别结果。

    总的来说,通过上述步骤,可以在ModelScope-Funasr中使用pipeline来加载和使用speaker model。具体的使用方法可能会根据实际的需求和模型有所不同,建议参考ModelScope-Funasr的官方文档或示例代码来获取更详细的信息。

    2024-03-07 18:53:53
    赞同 展开评论
  • spk_model="cam++", spk_model_revision="v2.0.2",新版本,pipeline用法与AutoModel用法完全一样。此回答整理自钉群“modelscope-funasr社区交流”

    2024-03-06 20:44:12
    赞同 展开评论

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理