
引言
同声传译这件事,难的不是"翻译准确",而是"边听边译"。传统做法是:语音识别出字幕,翻译模型转语言,语音合成再念出来——三段串行,每一段都要等前一段完成,字幕和声音永远比说话人慢半拍,而且中间任何一段出错,整条链路都崩。
Qwen3.8-LiveTranslate-Flash-Realtime 把这三段压成了一段:音频进,文本和音频同时出,端到端完成,中间不落盘。它识别 60 种源语言,能用 29 种语言说话。下面从定位、特征、能力、场景与计费五个层面完整介绍。详情👉访问阿里云百炼大模型服务平台页面 了解。


一、模型定位:多语言实时音视频同传
它是 Qwen3.8-LiveTranslate-Flash 的实时版本,定位是"高精度、高响应、高鲁棒性的多语言实时音视频同传大模型"。三个关键词值得拆开:
"实时":走 Realtime API,通过 AOQ、WebRTC 或 WebSocket 长连接双向流式交互。音频流式进、译文流式出,不是"录完再传"。
"音视频":输入除音频外还支持图像。这意味着它能"看"——会议里有人投屏、展示图表、写白板,画面信息可以作为翻译的辅助上下文。这对技术讲座、产品发布这类"讲的和图强相关"的场合非常关键。
"同传":输出不仅是文本,还可以是语音。文本用于字幕,语音用于听译,两者能同时输出。
它依托 Qwen-Omni 基座,配合海量多模态数据、跨语言跨模态对齐与视觉增强技术。官方还提到 LiveTranslate-Flash 具备离线与实时两种能力——也就是说,同一套模型能力可以覆盖"会议实时"与"录音事后"两类需求。
详情👉访问阿里云百炼大模型服务平台页面 了解。


二、核心特征
第一,60 种源语言、29 种目标语言。 这个不对称很有意思:能听懂的语种远多于能说出的语种(60 vs 29)。业务含义是——冷门语种的输入可以转成主流语言的文本字幕,但未必能配上该语种的语音。做多语会议时,输出语种要先确认在 29 种名单内。
第二,四模态组合,双输出。 输入音频+图像,输出文本+音频。这四者组合出两种典型用法:字幕模式(音频进、文本出)与听译模式(音频进、音频出)。两种模式的成本差很大,后文细说。
第三,流式增量输出。 文本以增量事件推送(response.text.delta 类事件),音频同理。这意味着字幕是"逐字长出来"的,不是整段等完。对话类场景的体验差别主要在这里。
第四,视觉增强。 图像输入不是装饰。会议场景里,演讲者说"看这个架构图",纯音频模型只能译出这句话,看不懂图;带视觉的同传可以把图里的信息纳入理解,减少"这个/那个"的指代歧义。
第五,上下文窗口 52K。 上下文 53,248 Token,最大输入 49,152、最大输出 4,096。这个窗口不大——它按"短时会话片段"设计,不是用来装整场两小时会议的。超过窗口要主动清理历史。
第六,输出模态可配。 通过 session.output_modalities 配置输出模态,可以只出文本、也可以文本+音频。这是控制成本最直接的开关。
第七,能力边界明确。 不支持 Function Calling、结构化输出、联网搜索、前缀续写、上下文缓存、批量推理与模型调优。它是专用同传引擎,不是通用对话模型。
三、能力拆解:能做好什么,做不好什么
做得好:
- 国际会议同传:多语种讲者、实时字幕+语音。
- 跨境直播与带货:主播说中文,观众听目标语言。
- 线下一对多讲解:展会、工厂参观、导游讲解。
- 跨国客服与热线:实时语音互译。
- 技术讲座与培训:图文并重,视觉增强能救"指代不清"。
- 录音事后翻译:用离线版做整段材料。
- 多语会议记录:文本输出直接落成纪要底稿。
做不好或需要注意的:
- 需要装下整场数小时会议(窗口只有 52K,需分段);
- 需要术语库强制约束(部分接入文档提到术语表参数,具体以官方 API 参考为准);
- 需要联网查证实时信息(不支持联网搜索);
- 需要模型顺带做摘要、问答(它是同传模型,后续加工交给文本模型);
- 需要高并发大规模接入(RPM 10 是硬约束,见下文)。
详情👉访问阿里云百炼大模型服务平台页面 了解。


四、适用场景
| 场景 | 输出模态建议 | 说明 |
|---|---|---|
| 国际会议字幕 | 仅文本 | 成本最低、延迟最小 |
| 会议听译(戴耳机) | 文本+音频 | 体验完整、成本较高 |
| 跨境直播 | 文本+音频 | 观众要"听得见" |
| 展会/导游讲解 | 文本+音频 | 移动场景、依赖语音 |
| 跨国客服 | 文本+音频 | 双向交互 |
| 技术讲座 | 文本+音频+图像输入 | 视觉增强减少歧义 |
| 录音事后翻译 | 离线版 | 实时版不适合长音频 |
| 大规模并发接入 | 需重新评估 | RPM 10 限制明显 |
五、计费解析:四个单价,按模态分开算
计费单位为元/百万 Token,输入输出、音频图像分别定价:
| 计费项 | 华北2(北京) | 国际(新加坡等) |
|---|---|---|
| 音频输入 | 40 元 | 54.688 元 |
| 图片输入 | 3.3 元 | 4.01 元 |
| 文本输出 | 100 元 | 145.835 元 |
| 音频输出 | 160 元 | 218.752 元 |
限流:RPM 10、TPM 100,000(北京与新加坡一致)。
四个必须记住的结论:
第一,音频输出是最贵的一项。 160 元,是音频输入(40 元)的 4 倍。这意味着"让对方听见"比"让对方看见"贵得多。
第二,字幕模式能省一大截。 只输出文本时,单方向成本是 40(音频输入)+100(文本输出)=140 元/百万 Token;开启音频输出则变成 40+160=200 元。关掉语音、只出字幕,输出侧成本直接降 37.5%。
第三,图片输入极便宜。 3.3 元,只有音频输入的 1/12。有画面可参考的场景(讲座、投屏、白板),加图片输入的边际成本几乎可以忽略,属于"该开就开"的选项。
第四,RPM 10 是真正的瓶颈。 每分钟只能发起 10 次请求。注意 Realtime 的 RPM 通常按"连接请求次数"统计,而不是对话轮次——一次长连接可以承载整场会议,但频繁断连重连会迅速耗尽配额。所以工程上必须做长连接复用与断线重连退避,不能靠"一有问题就重连"。
成本量级估算: 一场 1 小时的双语会议,音频输入按 16kHz 单声道估算,Token 消耗与音频时长正相关;配合 TPM 100,000 的上限,单连接可持续承载的吞吐是有限的。做预算时建议先在真实会议录音上跑一遍,量出"每分钟音频消耗多少 Token",再乘会议时长与并发场次——这比按理论值推算可靠。
省钱五个实招:
- 字幕优先:能看字幕解决的就别开语音输出。
- 长连接复用:一次连接跑完整场,别按轮次重连。
- 音频前置降噪与 VAD:静音段不要送进去,输入侧直接省。
- 图片按需送:只在"讲的内容依赖画面"时才带图,虽然便宜但也没必要全程送。
- 超长会议分段:52K 窗口装不下整场,主动清理历史比等截断更可控。
六、接入示例
WebSocket 会话配置,先定目标语言与输出模态:
{
"type": "session.update",
"session": {
"model": "qwen3.8-livetranslate-flash-realtime",
"output_modalities": ["text", "audio"],
"target_language": "en",
"input_audio_format": "pcm16",
"output_audio_format": "pcm16"
}
}
Python 侧建立长连接并处理增量译文:
import os, json, asyncio, websockets
async def main():
url = "wss://{workspace-id}.cn-beijing.maas.aliyuncs.com/api-ws/v1/realtime"
headers = {
"Authorization": f"Bearer {os.environ['DASHSCOPE_API_KEY']}"}
async with websockets.connect(url, additional_headers=headers) as ws:
await ws.send(json.dumps({
"type": "session.update",
"session": {
"model": "qwen3.8-livetranslate-flash-realtime",
"output_modalities": ["text"], # 只出字幕,成本最低
"target_language": "en",
"input_audio_format": "pcm16",
},
}))
async for msg in ws:
event = json.loads(msg)
if event.get("type") == "response.text.delta":
print(event.get("delta", ""), end="", flush=True)
elif event.get("type") == "response.audio.delta":
pass # 音频帧写播放缓冲
asyncio.run(main())
移动端与弱网优先选 AOQ;浏览器原生集成用 WebRTC。
详情👉访问阿里云百炼大模型服务平台页面 了解。


七、使用注意事项
第一,目标语种要在 29 种语音输出名单内。60 种是"能听懂",不等于"能说出来"。
第二,RPM 10 要按连接口径理解。保持长连接,别把重连当常规恢复手段;重连退避策略必须写进代码。
第三,输出模态是成本开关。字幕模式与听译模式的单价差很明显,产品设计阶段就该定清楚默认值。
第四,52K 窗口按片段设计。整场会议必须清理历史或分段建连,否则会被截断。
第五,音画同步靠客户端对齐。模型输出的是流式译文,与说话人的时间轴对齐、字幕渲染节奏,仍需前端处理。
第六,涉及会议录音、通话内容的采集与跨境传输,需遵守告知、授权与数据出境相关规定;翻译能力不等于合规许可。
结语
Qwen3.8-LiveTranslate-Flash-Realtime 的价值在于把"识别—翻译—合成"三段合成一段:60 种语言听得懂、29 种语言说得出、文本与语音可同时输出、还能看画面。它的成本结构也很直白——音频输出最贵、字幕模式最省、RPM 10 是硬约束。判断是否接入,拿三个真实场景试:一场中英双语技术讲座(带投屏)、一次跨境直播、一段带方言口音的客服通话。三项的延迟、准确率与术语一致性都过关,就值得替换现有的拼接式同传链路。