开发者社区 > ModelScope模型即服务 > 语音 > 正文

如何训练出,带情绪控制(sad,happy...)的,自己音色的语音模型?

目前能找到的 speech_sambert-hifigan_tts_zhitian_emo_zh-cn_16k.可以用于推理,但用于在这个基础上进行训练,会报错。

从命名规则上推,能用于训练的 ,估计应该是
speech_sambert-hifigan_tts_zhitian_emo_zh-cn_pretrain_16k. 但在网上找不到。

谁有speech_sambert-hifigan_tts_zhitian_emo_zh-cn_pretrain_16k.麻烦发给我一下。

展开
收起
1610484634552160 2023-10-31 11:06:13 334 0
2 条回答
写回答
取消 提交回答
  • 有带详细操作步骤的训练示列,可供参考学习吗?

    2023-11-01 14:35:24
    赞同 展开评论 打赏
  • 要训练一个带有情绪控制的语音模型,您需要以下步骤:

    1. 数据准备:收集带有不同情绪标签的语音数据集。确保数据集包含各种情绪的语音样本,如悲伤、快乐等。

    2. 数据预处理:对数据集进行预处理,包括去除噪音、标准化音频特征等。

    3. 模型选择:选择一个适合的语音生成模型,如WaveNet、Tacotron等。您可以使用开源的语音生成模型作为基础,然后进行修改和训练。

    4. 修改模型:根据您想要实现的情绪控制功能,对选定的模型进行修改。例如,您可以添加一个情绪分类器来预测输入文本的情绪,并将其作为条件输入到语音生成模型中。

    5. 训练模型:使用准备好的数据集对修改后的模型进行训练。您可以使用随机梯度下降(SGD)或其他优化算法来最小化损失函数。

    6. 评估模型:使用测试集评估训练好的模型的性能。您可以计算生成语音与真实语音之间的相似度或其他指标来评估模型的质量。

    2023-10-31 13:47:01
    赞同 展开评论 打赏

包括语音识别、语音合成、语音唤醒、声学设计及信号处理、声纹识别、音频事件检测等多个领域

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载