paraformer模型结构怎么在modelscope-funasr找?

paraformer模型结构怎么在modelscope-funasr找?

展开
收起
嘟嘟嘟嘟嘟嘟 2024-01-04 23:26:06 141 分享 版权
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Paraformer模型结构在modelscope-funasr中是一个非常重要的部分,它由Encoder、Predictor、Sampler、Decoder 与 Loss function五部分组成。具体来说,Encoder可以采用不同的网络结构,例如self-attention,conformer,SAN-M等。Predictor 为两层前馈神经网络(FFN),用于预测目标文字个数以及抽取目标文字对应的声学向量。此外,Sampler 是一个无可学习参数的模块,根据输入的声学向量和目标向量,生成含有语义的特征向量。Decoder 的结构与自回归模型类似,采用了双向建模。至于Loss function部分,除了交叉熵(CE)与 MWER 区分性优化目标,还包括了 Predictor 优化目标 MAE。开源的Paraformer-large模型相对论文中的学术Paraformer模型采用了更深更大的模型结构。 Paraformer-large模型的Encoder有50层,包括memory equipped self-attention(SAN-M)和feed-forward networks (FFN)。 Decoder有16层,包括SAN-M,FFN和multi-head attention(MHA)。大数据 相对于公开论文中在单独封闭数据集(AISHELL-1、AISHELL-2等)上进行的效果验证,我们使用了更大数据量的工业数据上对模型进行训练,利用数万小时16K通用数据,包括半远场、输入法、音视频、直播、会议等领域。

    2024-01-05 09:59:05
    赞同 展开评论
  • Paraformer模型结构由Encoder、Predictor、Sampler、Decoder与Loss function五部分组成。具体来说,Encoder可以采用不同的网络结构,例如self-attention,conformer,SAN-M等。Paraformer-large模型的Encoder有50层,包括memory equipped self-attention(SAN-M)和feed-forward networks (FFN)。 Decoder有16层,包括SAN-M,FFN和multi-head attention(MHA)。 Sampler为无可学习参数模块,依据输入的声学向量和目标向量,生产含有语义的特征向量。 Decoder 结构与自回归模型类似,为双向建模(自回归为单向建模)。 Loss function 部分,除了交叉熵(CE)与 MWER 区分性优化目标,还包括了 Predictor 优化目标 MAE。

    2024-01-05 09:52:33
    赞同 展开评论

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理