请问ModelScope中的语音降噪模型和语音合成模型可以支持导出ONNX了吗,modelscope模型能否转换成torch model?
ModelScope
的语音降噪模型和语音合成模型可以导出为 ONNX
模型。ModelScope
模型也可以转换成 PyTorch
模型。特意查了下 ModelScope 的官方文档,目前语音降噪模型和语音合成模型都没有提供导出 ONNX 格式的功能,也不支持直接转换为 PyTorch 模型。有个解决思路:使用 TensorFlow 转换为 PyTorch 模型,通过 TensorFlow 的 SavedModel 格式将模型导出为 TensorFlow 模型,然后使用 tf2onnx 工具将 TensorFlow 模型转换为 ONNX 格式,最后再使用 onnx2pytorch 工具将 ONNX 模型转换为 PyTorch 模型。这种就是技术实现比较麻烦,建议还是用已经支持 ONNX 格式或者 PyTorch 格式的语音模型来满足需要
特意查了下 ModelScope 的官方文档,目前语音降噪模型和语音合成模型都没有提供导出 ONNX 格式的功能,也不支持直接转换为 PyTorch 模型。
有个解决思路:使用 TensorFlow 转换为 PyTorch 模型,通过 TensorFlow 的 SavedModel 格式将模型导出为 TensorFlow 模型,然后使用 tf2onnx 工具将 TensorFlow 模型转换为 ONNX 格式,最后再使用 onnx2pytorch 工具将 ONNX 模型转换为 PyTorch 模型。
这种就是技术实现比较麻烦,建议还是用已经支持 ONNX 格式或者 PyTorch 格式的语音模型来满足需要
在FRCRN语音降噪modelscope模型中的数据集:智能降噪挑战数据集 地址:https://modelscope.cn/datasets/modelscope/ICASSP_2021_DNS_Challenge/summary 以及SambertHifigan语音合成modelscope模型中的数据集:希尔贝壳中文普通话语音数据库 地址:https://modelscope.cn/datasets/speech_tts/AISHELL-3/summary 这两个数据集的话可以学习研究使用,未经允许不可以商用,另外关于modelscope模型功能以及模型更新计划可以加钉钉群 44837352 咨询。