
语音助手体验的分水岭,不在“能不能听懂”,而在“能不能被打断”。一轮一问一答的语音交互,本质上是把语音当输入法用;真正的对话应该像打电话——你说到一半我能插话,我停顿你会等,背景有噪声也不影响理解。Qwen-Audio-3.1-Realtime 解决的就是这层问题:端到端全双工,输入音频直接出音频,中间不经过“语音识别→文本模型→语音合成”的三段拼接。下面从定位、特征、能力、场景与价格五个层面完整介绍。详情👉访问阿里云百炼大模型服务平台页面 了解。


一、模型定位:端到端实时语音对话引擎
Qwen-Audio-3.1-Realtime 是新一代实时全双工语音大模型,支持文本与音频双模态输入、文本与音频双模态输出、工具调用、联网搜索以及声音复刻。它有两个主力模型 ID:
qwen-audio-3.1-realtime-flash:响应更快、成本更低,适合规模化部署的实时交互。qwen-audio-3.1-realtime-plus:效果优先,口语推理与表达质量更强,适合对交互质感要求高的场景。
它和同代 TTS 模型的区别要说清:qwen-audio-3.1-tts-flash/plus 是“给定文本出语音”的合成工具,单向、无对话状态;Realtime 是“听得见、会思考、能说话”的对话引擎,双向、带上下文、能调工具。做配音选 TTS,做对话选 Realtime,混用会走很多弯路。
三段式拼接方案与端到端方案的差别不只是链路长短。拼接方案里,语音识别的错字、文本模型的书面化表达、合成音色的机械感,三层损耗会叠加;端到端方案在音频空间里直接建模,语气、停顿、情绪是连贯的,这也是它能做到“像人”的根本原因。详情👉访问阿里云百炼大模型服务平台页面 了解。


二、核心特征
第一,全双工与可打断。 支持四种交互模式:server_vad(服务端语音活动检测)、smart_turn、smart_turn_v2(推荐)、push-to-talk(按键说话)。推荐模式 smart_turn_v2 在轮次判断上更自然,用户中途插话、停顿思考、语速变化都能处理,不需要“说完请等待”的机械提示。
第二,说话人增强。 在 smart_turn 与 smart_turn_v2 模式下支持说话人增强,多人环境里能更好地锁定目标说话人,这是智能硬件、车载、会议场景的刚需。
第三,三种接入协议。 支持 WebSocket、WebRTC 与 AOQ。WebSocket 通用性好;WebRTC 适合浏览器与移动端原生集成;AOQ 面向客户端对接,在稳定延迟、弱网交互、实时双工的降噪与回声消除上更有优势。选型时按“终端形态+网络质量”决定,不必一律用 WebSocket。
第四,工具与联网能力内建。 支持 Function Calling,模型可自主判断是否需要调用外部工具;联网搜索通过 enable_search 开启,可与 Function Calling 同时启用,模型会自主判断是否搜索并返回来源。这两项让语音助手从“闲聊”变成“能查、能办”。
第五,对话上下文可管理。 支持对话项的创建、查询与删除,可以灵活注入历史上下文或清理无关对话项。对长会话、跨设备续聊、敏感信息擦除都有实际价值。
第六,明确的上下文与音频窗口。 上下文长度 262,144 Token,最大输入 245,760,最大输出 16,384。音频历史单独受限:最多 50 轮、累计音频时长 300 秒。这意味着超长语音会话需要主动清理早期音频,否则会被截断。
第七,不支持深度思考开关。 enable_thinking 不被支持,它的取向是“快”,不是“想很久再答”。需要多步推理的复杂任务,应交给文本模型在后台处理,再由语音层播报结果。详情👉访问阿里云百炼大模型服务平台页面 了解。


三、能力拆解:能做好什么,做不好什么
做得好:
- 实时语音助手:低延迟应答、自然打断、多轮衔接。
- 智能客服与热线:IVR 升级、意图澄清、工单信息收集。
- AI 伴侣与陪伴类应用:情绪化表达、长会话记忆、音色定制。
- 智能硬件与机器人:车载、音箱、玩具、导览设备的语音交互层。
- 实时翻译与口语陪练:边说边译、发音反馈。
- 会议与访谈辅助:实时转写+要点提示+追问建议。
- 带工具的任务型对话:查订单、约时间、报故障,靠 Function Calling 落地。
做不好或需要额外处理的:
- 需要长时间深度推理的任务(不支持思考模式,长链推理应转交文本模型);
- 需要输出图像、视频的多模态任务(本模型输出仅文本与音频);
- 需要毫秒级精确时间戳对齐的字幕生产(应使用专门的转写/ASR 链路);
- 完全离线私有化部署(需另行确认部署方案)。
一个务实判断:它的强项是“交互层”,不是“认知层”。把复杂决策放到后台模型,把听说能力交给它,架构最顺。
四、适用场景
| 场景 | 推荐版本 | 说明 |
|---|---|---|
| 规模化语音客服 | Flash | 成本可控、响应快 |
| 智能硬件、车载语音 | Flash+AOQ | 弱网与回声消除更关键 |
| AI 伴侣、情感陪伴 | Plus | 表达质感优先 |
| 高端语音助手、品牌客服 | Plus | 口语推理与语气更自然 |
| 实时翻译、口语陪练 | Flash 或 Plus | 按质量要求取舍 |
| 会议实时辅助 | Flash | 长会话需清理音频历史 |
| 带工具的办事型对话 | 两版皆可 | Function Calling+联网搜索 |
| 纯配音、有声书 | 不用本模型 | 选 TTS 系列更合适 |
五、价格解析:四个单价,两个计费规则
计费单位是元/百万 Token,按输入、输出、模态分别定价。华北2(北京)价格如下:
| 模型 | 文本输入 | 音频输入 | 文本输出 | 音频输出 |
|---|---|---|---|---|
| qwen-audio-3.1-realtime-flash | 1.5 元 | 6 元 | 4.5 元 | 12 元 |
| qwen-audio-3.1-realtime-plus | 5 元 | 40 元 | 40 元 | 150 元 |
新加坡地域:Flash 为 1.677 / 6.781 / 5.104 / 13.636 元;Plus 为 5.833 / 46.667 / 46.667 / 175.002 元。
两条计费规则必须记住:
第一,仅输出文本时,按文本输出单价计费。也就是说,把回复限制为文字(比如字幕式应答、静默模式),成本按 4.5 元档走,不触发音频价。
第二,输出文本+音频时,只对音频收取输出费用,伴随的文本不另收输出费。这条对开发者是好消息:开着字幕显示不会让成本翻倍。
由此可以得出成本结构的关键结论:音频输出是绝对大头。Flash 的音频输出 12 元,是文本输入(1.5 元)的 8 倍;Plus 的音频输出 150 元,是文本输入(5 元)的 30 倍。这意味着:
- 语音时长直接决定账单,长会话成本线性增长;
- Plus 与 Flash 的音频输出差 12.5 倍,规模化部署基本只能用 Flash;
- 能接受“文字回复”的场景,成本可以降一个数量级。
限流与并发: RPM 60、TPM 100,000,没有单独的并发连接数限制。注意 WebSocket 的 RPM 是按“连接请求次数”统计,与模型响应次数无关——也就是说一次连接里可以有多轮对话,不会因为聊得多而被限流。规划并发时看 TPM 比看连接数更实际。
声音复刻: 支持用复刻音色做对话输出。系统音色可选 longanqian_v3.1,以及 qwen-audio-3.1-tts-plus 与 qwen-audio-3.1-tts-flash 音色列表中的全部音色。复刻音色通过声音复刻接口创建,创建时 target_model 填 realtime 模型 ID;创建音色本身免费,使用时按目标模型计费(另一条按音色个数计费的产品线为 0.01 元/音色,账号有 1000 个音色的免费额度,接入前先确认走的是哪条线)。详情👉访问阿里云百炼大模型服务平台页面 了解。


几个省钱要点:
第一,先用免费额度把音色与交互模式调好。试听、打断阈值、语速这些参数,都在免费额度里调完再上量。
第二,短会话优先。全双工的音频输入按 6 元/百万 Token 计,长时间挂着麦克风(环境音持续输入)会产生无意义消耗,客户端要做 VAD 侧的前置静音过滤。
第三,字幕不额外花钱。既然伴随文本不另收费,就把字幕打开——它同时是排查问题的日志。
第四,Plus 用在“演示与关键场景”。规模化并发用 Flash,Plus 留给品牌客服、体验演示、高价值会话。
六、接入示例
WebSocket 会话初始化,第一次 session.update 设定音色与模式:
{
"type": "session.update",
"session": {
"model": "qwen-audio-3.1-realtime-flash",
"voice": "longanqian_v3.1",
"modalities": ["text", "audio"],
"turn_detection": {
"type": "smart_turn_v2"},
"input_audio_format": "pcm16",
"enable_search": true
}
}
注意:voice 只能在第一次 session.update 中设置,后续再传会被忽略。
Python 侧建立连接:
import os, json, websockets, asyncio
async def main():
url = "wss://{workspace-id}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime"
headers = {
"Authorization": f"Bearer {os.environ['DASHSCOPE_API_KEY']}"}
async with websockets.connect(url, additional_headers=headers) as ws:
await ws.send(json.dumps({
"type": "session.update",
"session": {
"model": "qwen-audio-3.1-realtime-flash",
"voice": "longanqian_v3.1",
"modalities": ["text", "audio"],
"turn_detection": {
"type": "smart_turn_v2"},
},
}))
async for msg in ws:
event = json.loads(msg)
if event.get("type") == "response.audio.delta":
pass # 此处写音频帧播放/落盘逻辑
elif event.get("type") == "response.text.delta":
print(event.get("delta", ""), end="")
asyncio.run(main())
弱网与移动端建议切到 AOQ,它针对实时双工的降噪与回声消除做了优化;浏览器场景用 WebRTC 更省事。详情👉访问阿里云百炼大模型服务平台页面 了解。


七、使用注意事项
第一,音频历史有硬窗口。最多 50 轮、累计 300 秒音频,超长会话必须主动删除早期对话项,否则模型“记不住”前面说过的内容。
第二,别指望深度思考。enable_thinking 不支持,复杂计算、长链推理请在后端用文本模型算完,再让它播报。
第三,音色只在首帧生效。重连后可重设,同一会话内改音色无效——这是最常见的接入坑。
第四,客户端要做前置降噪。模型侧有说话人增强,但持续的环境噪声仍会消耗音频 Token,VAD 过滤在客户端做成本更低。
第五,RPM 60 是连接请求口径。多轮对话不重复计数,但频繁断连重连会快速消耗配额,保持长连接更划算。
第六,真人声音复刻必须取得本人授权,商用场景还要确认音色的使用范围;技术可用不等于授权合规。
结语
Qwen-Audio-3.1-Realtime 把语音交互从“轮询式问答”推进到“电话式对话”:能被打断、能等停顿、能认人、能调工具、能查资料,输出还带情绪。它的成本结构也非常清晰——音频输出决定账单,文本输出便宜一个量级,Plus 与 Flash 相差 12.5 倍。判断是否接入,建议拿三个真实场景试:嘈杂环境下的打断测试、带工具调用的办事型对话、20 轮以上的长会话记忆。三项都过,就可以进产品了。