
做一条三分钟的短视频,配音只是其中一环。真正耗时间的是:配好人声,再去音效库找"翻书声"、"雨声"、"转场提示音",最后找一段不侵权的BGM,把三条轨道对到秒。三套素材、三个来源、三次对齐,是内容团队最日常的痛点。
Qwen-Audio-3.1-TTS-Next 换了个思路:不再是"文本转语音",而是"文本转整段音频"。一次请求,人声、音效、环境音、背景音乐一起出来,还带时间控制。下面从定位、特征、能力、场景与价格五个层面完整介绍。详情👉访问阿里云百炼大模型服务平台页面 了解。



阿里云主流云产品介绍:
| 阿里云产品 | 核心功能 | 适配人群 |
|---|---|---|
| 轻量应用服务器专区: https://t.aliyun.com/U/CENIbY | 主打开箱即用,自带系统镜像和常见建站模板,操作门槛极低 | 适合新手、个人用户做博客、静态站、短期测试 |
| ECS 云服务器专区: https://t.aliyun.com/U/Rh9d1U | 标准云算力实例,支持完整VPC专有网络、弹性网卡、安全组精细配置 | 个人开发者、中小企业正式业务、长期部署项目 |
| GPU 云服务器专区: https://t.aliyun.com/U/TuZffa | 深度优化的GPU算力为模型推理、图形处理提供更强性能支持 | 个人开发者、中小企业 |
| 百炼大模型服务专区: https://t.aliyun.com/U/2Nuy7H | 千问 AI Token Plan 低至5折 | 个人开发者、中小企业 |
一、模型定位:统一音频生成,不是传统 TTS
Qwen-Audio-3.1-TTS-Next(模型 ID qwen-audio-3.1-tts-next)是一款面向统一音频生成的 Audiogen 模型。它的官方定位说得很直接:不再局限于传统 TTS 的单一语音合成,而是围绕文本、时间戳和参考音频等输入,一次生成完整的音频内容,包括人声、音效、环境音、背景音乐。
这一定位带来三个认知上的转变:
第一,从"音轨"到"整轨"。 传统 TTS 只负责人声这一条轨,剩下的靠人拼。TTS-Next 输出的是成品音频,多条声源已经在模型内部混合好,不需要后期对齐。
第二,从"念稿"到"演场景"。 它能做影视剧声景——不只台词,还有台词所处的空间(雨夜、咖啡馆、地铁站)。这是传统 TTS 完全不具备的表达层级。
第三,从"单角色"到"多角色"。 支持多人对话、Podcast 播客,一次生成里可以有多个人物交替说话,音色各自保持稳定。
在同代 Qwen-Audio-3.1 系列里,它的位置也很清楚:
| 模型 | 职责 | 输出 |
|---|---|---|
qwen-audio-3.1-tts-plus |
高质量语音合成 | 纯人声音频 |
qwen-audio-3.1-tts-flash |
低延迟流式语音合成 | 纯人声音频 |
qwen-audio-3.1-tts-next |
统一音频生成 | 人声+音效+环境音+BGM |
qwen-audio-3.1-realtime-* |
实时语音对话 | 双工交互音频 |
需要配音就用 Plus/Flash,需要"一条成片"就用 Next,需要对话就用 Realtime。混用会浪费预算。详情👉访问阿里云百炼大模型服务平台页面 了解。


二、核心特征
第一,多声源一次生成。 人声、音效、环境音、背景音乐在同一个生成过程里出现,彼此的音量关系与时间关系由模型协调。这意味着"雨声该多响、什么时候进"这种原本要反复试的活儿,变成了提示词里的一句话。
第二,时间戳控制。 输入里可以带时间戳,控制某段内容在什么时刻出现。对影视解说、画面卡点、教学视频这类"必须对齐画面"的任务,这是可用性的门槛——不能对齐,就只能人工剪。
第三,参考音频与音色保持。 输入支持参考音频(URL 或 Base64),用于指定音色或风格。模型强调"稳定的音色保持",即长段内容里音色不漂移。多人对话场景尤其看重这一点:两个角色交替说话,各自的音色不能串。
第四,非流式、返回完整文件。 通过 HTTPS API 调用,一次返回完整音频文件,不做流式推送。这个设计取向是"质量优先、离线生产",与 Flash 的实时流式是两条路。
第五,格式齐备。 输出支持 WAV、MP3、PCM 三种格式,直接对接后期工具链,不必再转码。
第六,语种覆盖中英。 目前语种为中文与英文。做小语种内容需要另配模型。
第七,明确的生成上限。 这一点必须提前知道,否则会在生产中途卡住:
| 项目 | 上限 |
|---|---|
| 单次生成音频时长(播客场景) | 240 秒(4 分钟) |
| 单次生成音频时长(其他场景) | 120 秒(2 分钟) |
| 参考音频数量 | 最多 3 条 |
| 单条参考音频时长 | 最长 30 秒 |
| 单条参考音频大小 | 不超过 10 MB |
| 参考音频格式 | WAV / MP3 / OGG Opus(不支持裸 PCM) |
| 限流 RPM | 180 |
三、能力拆解:能做好什么,做不好什么
做得好:
- 播客与双人对话:多角色、音色稳定、节奏自然,最长可到 4 分钟一段。
- 短视频配音+音效:一句提示词带上"转场音效、背景雨声",直接出成品轨。
- 影视解说与预告片声景:台词、环境音、音乐氛围统一生成。
- 有声书场景化朗读:不只念字,还能带环境(书房、街道、战场)。
- 游戏音频素材:角色语音、环境氛围、提示音效批量产出。
- 教学与课程音频:讲解+提示音+轻背景乐,一次成型。
- 音乐视频创意:人声与音乐氛围的初步组合,作为创意demo。
做不好或需要额外处理的:
- 超过 4 分钟的连续音频——必须分段生成再拼接,拼接处要做淡入淡出;
- 需要严格版权可控的商业BGM——模型生成的音乐可用于创意,但商用曲库替换需求仍要走授权渠道;
- 需要实时流式输出的场景——请改用
tts-flash; - 需要小语种(非中英)的配音——当前语种为中英;
- 需要精确到帧的音频工程级对齐——时间戳能控制大致位置,帧级对齐仍需后期。
一个务实判断:它替代的是"配音+找音效+找BGM"这三件事里的前两件半,不是全部后期。把它当"素材生成器"而不是"成品交付器",预期最准。详情👉访问阿里云百炼大模型服务平台页面 了解。


四、适用场景
| 场景 | 推荐用法 | 关键能力 |
|---|---|---|
| 播客节目制作 | 双人对谈,分段生成 | 多人对话、音色保持 |
| 短视频配音 | 一段视频一次生成含音效 | 多声源、时间戳 |
| 影视解说 | 台词+环境音统一 | 声景生成 |
| 有声书 | 分段+环境氛围 | 场景化表达 |
| 游戏音频 | 角色语音、氛围音批量 | 批量+格式灵活 |
| 广告片配音 | 品牌音色+氛围音乐 | 参考音频 |
| 课程与培训 | 讲解+提示音 | 时间控制 |
| 长内容生产 | 分段拼接 | 需自建拼接流程 |
五、价格解析:按 Token 计费,输出是输入的两倍
计费单位为元/百万 Token,按输入和输出分别计价:
| 地域 | 输入 | 输出 | RPM |
|---|---|---|---|
| 华北2(北京) | 6 元/百万 Token | 12 元/百万 Token | 180 |
| 新加坡 | 6.781 元/百万 Token | 5.104 元/百万 Token(以官方页展示为准) | 180 |
北京地域的结构很清晰:输出单价是输入的两倍。这与 TTS 系列的"按字符计费"完全不同——TTS Plus 是 1.4 元/万字符、输出不计费;TTS-Next 是双端 Token 计费。做预算时不能用 TTS 的算法套。详情👉访问阿里云百炼大模型服务平台页面 了解。


几个成本要点:
第一,音频越长,输出 Token 越多,成本线性上升。 单次上限 4 分钟(播客)/ 2 分钟(其他),这个限制同时也是成本护栏——它防止一次请求生成过长的音频导致账单失控。
第二,参考音频会推高输入侧成本。 最多 3 条、每条 30 秒,参考音频也计入输入 Token。做音色复刻时,用最短的有效样本(10–20 秒清晰人声)就够,不必传满 30 秒×3。
第三,分段策略影响总成本。 长内容必须分段,但分段边界如果切在句中,会产生额外的衔接处理成本(重生成、淡入淡出)。按自然段切、每段 60–110 秒,是性价比较好的区间。
第四,RPM 180 是排产约束。 一分钟最多 180 次请求,批量生产要排队。以每段 2 分钟计,理论上限约 6 小时音频/分钟请求,但实际要留余量给重试。
第五,免费额度以控制台为准。 TTS-Next 是否参与免费额度、额度多少,各地域规则不同,接入前查百炼控制台的实时展示,不要按 TTS Plus 的 1 万字符类推。
第六,订阅制覆盖范围需确认。 Token Plan 等订阅方案的 Credits 是否可用于音频生成模型、倍率如何,以订阅页与模型页说明为准。音频模型与文本模型的 Credits 消耗口径通常不同。详情👉访问阿里云百炼大模型服务平台页面 了解。


六、接入示例
HTTPS 调用,返回完整音频文件:
curl -X POST "[https://dashscope.aliyuncs.com/api/v1/services/audio/generation](https://dashscope.aliyuncs.com/api/v1/services/audio/generation)" \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "qwen-audio-3.1-tts-next",
"input": {
"text": "[00:00] 男声,低沉,语速偏慢:那年冬天,我在南方第一次见到雪。\n[00:08] 环境音:细雪落地、远处车流;背景音乐:钢琴,轻缓。\n[00:20] 女声,轻快:你居然没带伞?",
"reference_audio": ["[https://example.com/voice_a.wav](https://example.com/voice_a.wav)"],
"format": "mp3"
}
}' --output output.mp3
Python 侧(DashScope SDK,参数名以官方 API 参考为准):
import dashscope
resp = dashscope.AudioGeneration.call(
model="qwen-audio-3.1-tts-next",
text="[00:00] 男声,低沉:那年冬天,我在南方第一次见到雪。"
"[00:08] 环境音:细雪落地;背景音乐:钢琴。",
reference_audio=["[https://example.com/voice_a.wav](https://example.com/voice_a.wav)"],
format="wav",
)
if resp.status_code == 200:
with open("output.wav", "wb") as f:
f.write(resp.output.audio)
else:
print(resp.code, resp.message)
长内容分段生成再拼接:
ffmpeg -i part1.wav -i part2.wav -filter_complex \
"[0:a]afade=t=out:st=58:d=2[a0];[1:a]afade=t=in:st=0:d=2[a1];[a0][a1]concat=n=2:v=0:a=1" \
merged.wav
七、使用注意事项
第一,先确认时长上限。播客 240 秒、其他 120 秒,超长内容必须在脚本阶段就切成段,不要等生成时报错。
第二,参考音频别超规格。最多 3 条、每条 30 秒、单条 10 MB、格式限 WAV/MP3/OGG Opus,裸 PCM 会被拒。
第三,时间戳是"提示"不是"硬编码"。它能控制大致位置,但不要把帧级精度押在它上面,卡点仍要后期微调。
第四,拼接处必须做淡入淡出。两段独立生成的音频在拼接点会有音量与底噪差异,不做处理会有明显"咔哒"声。
第五,语种只覆盖中英。做其他语种内容,需要另配模型或走多模型组合方案。
第六,涉及真人音色参考与影视素材,必须确认授权;模型能生成不等于素材可用,商用场景尤其要留证据链。
结语
Qwen-Audio-3.1-TTS-Next 的真正价值是把"配音工序"压缩成"写脚本+生成+拼接"三步:多声源一次成型,时间戳控制节奏,参考音频定音色,输出格式直接对接后期。它的限制也很清楚——非流式、单次 4 分钟(播客)/2 分钟(其他)、仅中英语种、RPM 180。判断是否接入,拿三个真实任务试:一条 90 秒带音效的短视频、一段 3 分钟双人对谈播客、一段带环境声的影视解说。三项都达到可用水平,就值得重构现有的音频生产流程了。