过去处理一段会议录像,要拆成三步:先语音转写,再抽帧看图,最后把两份结果拼起来交给文本模型分析。每一步都会丢信息——语气没了、画面和台词的对应关系断了、时间戳对不上。Qwen3.8-Omni-Flash要解决的正是这个问题:把文本、图像、音频、视频放进同一个模型里直接理解,不再依赖外挂流水线。它不是"文本模型加了个语音接口",而是原生全模态架构。下面从定位、特征、能力、场景与价格五个层面完整介绍。
一、模型定位:面向真实生产力场景的原生全模态模型
详情👉访问阿里云百炼大模型服务平台页面 了解。


Qwen3.8-Omni-Flash是通义千问新一代原生全模态模型,模型 ID 为 qwen3.8-omni-flash,基于 Qwen3.8-Flash-Next 架构。它的定位可以概括为三句话:
第一,统一入口。 直接接收文本、图像、音频、视频四类输入,输出为文本。业务侧不必再维护"转写服务+视觉模型+文本模型"的三段式链路。
第二,长序列。 支持百万级(1M)上下文,最大输出 128K(非思考模式)。这个容量意味着整场会议录音、整部短片、整套带截图的操作日志,都可以一次性喂进去,让模型在完整信息上做判断,而不是看切片。
第三,Agent 导向。 除了常规的理解与问答,它还承担编程、文本知识工作、GUI 操作这类 Agentic 任务;在以音视频为核心的工作流上——视频剪辑、音乐视频创作、影视制作与解说、音视频到图文摘要、音视频对话——能力提升尤其明显。
同代还有一个实时版本 qwen3.8-omni-flash-realtime,面向低延迟语音交互、视频理解与 MCP 工具调用,输出可以是文本也可以是语音。两者分工清晰:离线版做"深度分析",实时版做"当场对话"。
二、核心特征
第一,四模态原生输入。 文本、图片、音频、视频同框输入,模型在同一个推理过程里对齐不同模态的信息。这带来的不只是省事,而是能做"跨模态互证"——比如根据画面里人物的动作,判断某句台词的真实含义;或者根据视频里的界面变化,核对口述的操作步骤是否一致。详情👉访问阿里云百炼大模型服务平台页面 了解。


第二,1M 长上下文。 长音视频分析、长文档理解、多轮复杂推理都能装进一个上下文。对影视解说、课程拆解、长会议复盘这类任务,长上下文是可用性的门槛,短窗口模型只能靠分段摘要,信息在分段处就断了。
第三,空间音频解析。 支持 2 通道与 4 通道空间音频,能区分声源方位。会议场景里这意味着可以判断"谁在说话、声音从哪个方向来",而不是把整段音频当一条混音轨处理。
第四,113 种语言与方言的音频输入。 多语会议、跨境客服、方言内容审核都能覆盖,不需要额外接语音识别服务。
第五,深度思考默认开启且强度可调。 简单任务降强度换速度,复杂推理提高强度换准确率。这个开关让它既能做实时性要求较高的分析,也能扛需要多步推导的难题。
第六,工具链完备。 支持 Function Calling、联网搜索(Responses 内置 web_search)、结构化输出、前缀补全、上下文缓存(隐式缓存自动生效,另有 Responses Session 缓存)。兼容 DashScope 与 OpenAI 协议,官方建议搭配 Qwen-MM-Plugins,方便 Agent 框架直接接入原生多模态能力。
三、能力拆解:能做好什么,做不好什么
做得好:
- 音视频理解:长视频内容分析、视频问答、关键片段定位、画面与台词联合理解。
- 音视频到图文摘要:一场直播、一部课程、一段访谈,直接产出结构化图文稿。
- 影视与解说创作:影视制作与解说脚本、音乐视频创意、剪辑点建议。
- 会议分析:多语会议记录、发言归属、决议与待办提取、争议点定位。
- GUI 与操作类 Agent:看截图理解界面、按目标执行操作步骤、写操作日志复盘。
- 编程与知识工作:读代码仓库、解析报错日志、结合截图定位界面问题。
- 实时交互(Realtime 版):低延迟语音对话、实时翻译、智能硬件与机器人交互、多模态智能体。
做不好或需要注意的:
- 需要输出图像或视频的任务——该模型输出只有文本,生成要交给图像/视频模型;
- 极高精度的细粒度视觉测量(工业质检级);
- 超长音视频的毫秒级精确时间对齐;
- 需要极低单价的纯文本批量任务——用纯文本模型更划算。
一个务实判断:它的核心价值是"省掉中间环节并保住信息",而不是"什么都能干"。把它放在音视频与多模态理解的位置上,收益最明显。详情👉访问阿里云百炼大模型服务平台页面 了解。


四、适用场景
| 场景 | 推荐版本 | 说明 |
|---|---|---|
| 长视频内容分析、影视解说 | 离线版 | 1M 上下文一次性装载 |
| 音视频转图文摘要 | 离线版 | 结构化输出直接落成稿件 |
| 多语会议复盘 | 离线版 | 空间音频+113 语言音频输入 |
| 课程拆解、培训素材加工 | 离线版 | 画面与讲解联合理解 |
| 智能客服、语音助手 | Realtime 版 | 低延迟、可输出语音 |
| 实时翻译、智能硬件 | Realtime 版 | WebSocket/WebRTC 接入 |
| GUI 操作与多模态 Agent | 两版皆可 | 离线做规划,实时做执行 |
| 纯文本批量生成 | 不必用本模型 | 选纯文本模型更省 |
五、价格解析:按 Token 计费,模态同价但实时版分模态
离线版(qwen3.8-omni-flash,中国内地/华北2北京)计费简单,文本、图像、音频、视频输入统一按输入单价计:
| 计费项 | 单价 |
|---|---|
| 输入 | 0.8 元/百万 Token |
| 输入(缓存命中) | 0.1 元/百万 Token |
| 输出 | 2.7 元/百万 Token |
国际区(新加坡等)约 $0.15/百万 Token 输入、$0.47/百万 Token 输出,缓存命中约 $0.016。
实时版(qwen3.8-omni-flash-realtime)按模态分开计价,音频明显更贵:
| 计费项 | 单价 |
|---|---|
| 输入:音频 | 6 元/百万 Token |
| 输出:音频 | 12 元/百万 Token |
| 输入:文本/图片/视频 | 1.5 元/百万 Token |
| 输出:文本 | 4.5 元/百万 Token |
几个省钱要点:
第一,善用缓存。 缓存命中输入只要 0.1 元,是原价的 1/8。同一段长视频、同一份长文档被反复追问时,把公共前缀做成缓存,成本会明显下降——这是长上下文场景最有效的省钱手段。
第二,先领免费额度。 百炼为新用户提供 100 万 Token 免费额度,仅限华北2(北京),有效期自开通或模型发布起 90 天。开通时可勾选"用完即停",额度耗尽后自动停止服务(返回 AllocationQuota.FreeTierOnly.),不会产生额外费用;若要继续使用需关闭该开关转为按量付费。
第三,实时版按需用。 语音输出 12 元/百万 Token,长时间语音对话成本不低。能接受文本回复的场景,把输出限为文本(只设 modalities=["text"]),成本直接降到 4.5 元档。
第四,订阅制以控制台为准。 Token Plan 等订阅方案的 Credits 是否覆盖本模型、倍率如何,需以百炼控制台订阅页与模型页的实时说明为准,不要按纯文本模型的倍率估算。
六、接入示例
离线版,OpenAI 兼容接口,纯文本输出:
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["DASHSCOPE_API_KEY"],
base_url="[https://dashscope.aliyuncs.com/compatible-mode/v1](https://dashscope.aliyuncs.com/compatible-mode/v1)",
)
completion = client.chat.completions.create(
model="qwen3.8-omni-flash",
messages=[{
"role": "user",
"content": [
{
"type": "text", "text": "这场会议形成了哪些决议?按条列出,标注发言人"},
{
"type": "video_url", "video_url": {
"url": "[https://example.com/meeting.mp4](https://example.com/meeting.mp4)"}},
],
}],
modalities=["text"], # 该模型仅支持文本输出,不要设置 audio
stream=True,
stream_options={
"include_usage": True},
)
for chunk in completion:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
实时版走 WebSocket,需要绑定业务空间的地址:
# 伪代码:Realtime 会话配置要点
session = {
"model": "qwen3.8-omni-flash-realtime",
"modalities": ["text", "audio"],
"voice": "Tina", # 默认音色
"input_audio_format": "pcm16",
"turn_detection": {
"type": "server_vad"},
}
# 多通道音频:WebSocket 支持 1/2/4 声道,16kHz PCM
长文与视频分析建议走异步任务,避免同步请求超时。详情👉访问阿里云百炼大模型服务平台页面 了解。


七、使用注意事项
第一,认准模型 ID。离线版是 qwen3.8-omni-flash,实时版是 qwen3.8-omni-flash-realtime,接口形态完全不同,混用会直接报错。
第二,输出只有文本。不要设置 modalities=["audio"],需要语音输出请用 Realtime 版。
第三,上下文与输出预算分开算。思考内容与最终回答共享输出预算,沿用"只为回答留额度"的旧写法容易被截断。
第四,空间音频要显式开启。Chat Completions 下需通过 use_multichannel 打开多通道,否则解析到的仍是混音轨。
第五,多语与方言场景先做抽样验收。113 种语言覆盖广,但专业术语、口音较重的样本仍需实测。
第六,涉及肖像、声音、影视素材的处理,务必确认授权与合规边界,模型能力不等于使用许可。
结语
Qwen3.8-Omni-Flash把"多模态"从接口层搬到了模型内部:一个上下文里放得下整段音视频,也放得下截图、日志与文字需求,输出直接是可用文本。对内容团队,它把音视频加工从"人工拆条"变成"一次性投喂";对开发者,它砍掉了转写、抽帧、拼接三段流水线;对 Agent 场景,它让"看着屏幕、听着对话、动手操作"成为同一套推理。判断是否接入,建议拿三个真实任务做测试:一场 40 分钟多语会议、一条带字幕的短片、一次带截图的故障排查。三项都过,就值得进工作流。