有人用ModelScope 的SambertHifigan个性化语音合成-中文-预训练-16k ?

有人用ModelScope 的SambertHifigan个性化语音合成-中文-预训练-16k 做语音定制吗

展开
收起
真的很搞笑 2023-05-20 17:16:08 217 分享 版权
阿里云 AI 助理回答

是的,有人使用 ModelScopeSambertHifigan个性化语音合成-中文-预训练-16k 模型进行语音定制。以下是关于如何使用该模型进行语音定制的详细说明:

1. 模型简介

SambertHifigan个性化语音合成-中文-预训练-16k 是一种基于 Sambert 和 Hifigan 技术的语音合成模型,支持中英文双语合成,并且具备高质量的语音输出能力。该模型适用于多种场景,包括但不限于新闻播报、配音解说、客服对话等。

2. 语音定制流程

根据知识库中的资料,用户可以通过以下步骤完成个性化语音定制:

(1)通过控制台界面定制

  1. 登录阿里云智能语音交互控制台。
  2. 个性化人声定制 页面,单击 定制声音 按钮。
  3. 使用手机扫描二维码,进入人声定制页面,按照提示录制并上传语音样本。
  4. 系统会自动训练个性化声音模型,训练成功后,您可以在手机端或控制台试听合成效果。

    注意: - 定制的个性化声音模型会与项目绑定,删除项目会导致模型无法调用,请谨慎操作。 - 新开通服务的用户可在 3 个月内免费试用,试用期过后需升级为商用版以继续使用。

(2)通过代码调用定制音色

  1. 定制完成后,推荐使用语音合成接口调用该声音。
  2. 在调用时,需要将个性化人声的 模型调用ID 填入 voice 参数中。示例代码如下:
    synthesizer.setVoice("${模型调用ID}");
    
  3. 您也可以通过 实时/异步长文本语音合成 接口调用定制音色,方法与上述步骤一致。

3. WebSocket连接方式

如果需要通过 WebSocket 连接访问 Sambert 语音合成服务,可以参考以下消息格式发送请求:

{
 "header": {
 "action": "run-task",
 "task_id": "2bf83b9a-baeb-4fda-8d9a-xxxxxxxxxxxx",
 "streaming": "out"
 },
 "payload": {
 "model": "sambert-zhichu-v1",
 "task_group": "audio",
 "task": "tts",
 "function": "SpeechSynthesizer",
 "input": {
 "text": "床前明月光," // 待合成文本
 },
 "parameters": {
 "text_type": "PlainText",
 "format": "mp3", // 音频格式
 "sample_rate": 16000, // 采样率
 "volume": 50, // 音量
 "rate": 1, // 语速
 "pitch": 1, // 音调
 "word_timestamp_enabled": true, // 是否开启词时间戳
 "phoneme_timestamp_enabled": true // 是否开启音素时间戳
 }
 }
}

此方式适用于需要流式输出的场景,例如虚拟数字人实时语音合成。

4. 重要提醒

  • 限流规则:Sambert 系列模型的提交作业接口 RPS(每秒请求数)限制为 20。请确保您的应用符合限流要求,避免因超出限制导致服务中断。
  • 计费规则:Sambert 语音合成服务按字符数计费,单价为 1元/万字符,其中 1 个汉字算 2 个字符,英文、标点符号、空格均按 1 个字符计费。SSML 标签内容不计费。

5. 适用场景

根据知识库中的信息,SambertHifigan个性化语音合成-中文-预训练-16k 模型特别适合以下场景: - 新闻播报:如知达(知达男声)、知佳(标准女声)等音色。 - 配音解说:如知伦(悬疑解说)、知飞(激昂解说)等音色。 - 客服对话:如知悦(温柔女声)、Betty(客服女声)等音色。

如果您有更多具体需求或问题,欢迎进一步咨询!

有帮助
无帮助
AI 助理回答生成答案可能存在不准确,仅供参考
0 条回答
写回答
取消 提交回答

ModelScope旨在打造下一代开源的模型即服务共享平台,为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单!欢迎加入技术交流群:微信公众号:魔搭ModelScope社区,钉钉群号:44837352

热门讨论

热门文章

还有其他疑问?
咨询AI助理