modelscope-funasr的whisper-large-v3是没有对应tokenizer吗?

modelscope-funasr的whisper-large-v3 是不是 没有对应的 tokenizer?47566e1db72ef27ea5a11b9a8cd22cc3.png
51ac0433bf01a9d5d21731f0fc03b1d6.png

展开
收起
三分钟热度的鱼 2024-03-20 15:39:29 157 分享 版权
2 条回答
写回答
取消 提交回答
  • 阿里云大降价~

    Whisper-large-v3模型通常不提供单独的tokenizer

    在深度学习中,特别是在自然语言处理(NLP)领域,模型和tokenizer通常是配套提供的。Tokenizer负责将文本数据转换为模型可以理解的格式,例如将句子分割成单词或子词(subwords)。然而,对于自动语音识别(ASR)模型,如Whisper-large-v3,它们通常接收原始音频数据作为输入,而不是已经分割好的文本。因此,这些模型不需要传统意义上的tokenizer来预处理文本数据。

    此外,如果您需要在ASR之后对接NLP模型,您可能需要一个单独的tokenizer来处理ASR输出的文本数据。在这种情况下,您可以使用适合您NLP模型的tokenizer,例如BPE(Byte Pair Encoding)或其他适用于您所用NLP框架的tokenizer。

    总之,Whisper-large-v3作为一个ASR模型,其设计目的是直接从音频文件中提取文本信息,因此不包含用于文本预处理的tokenizer。如果您需要在ASR之后进行NLP处理,您需要另外准备一个tokenizer来适配您的NLP模型。

    2024-03-27 19:48:46
    赞同 展开评论
  • 你没下载。b1c1909ff9dad94da296771f80ad040d.png
    此回答整理自钉群“modelscope-funasr社区交流”

    2024-03-20 15:45:07
    赞同 展开评论

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理