从架构设计到一行代码接入:聊聊 SmartCall 的端对端实时模型插件化方案
背景:端对端模型正在改变实时语音交互
传统的 AI 呼叫中心通常采用 ASR → LLM → TTS 的级联流水线:先识别语音转文字,再大模型思考,最后合成语音播报。每一步都有延迟,串在一起体验割裂。
而像 Qwen3-Omni、GPT-4o 这类端对端实时语音模型,直接在音频层面完成"听—想—说"的全流程,延迟压到毫秒级,还能感知语气、情绪,甚至主动打断。这才是真正自然的电话对话体验。
问题是:模型厂商那么多,协议各不同,怎么让系统轻松接入任意一个新模型?
两种模式:端对端 vs 组合编排
SmartCall 把智能体的模型配置抽象为两种模式:
| 模式 | Provider | 模型绑定 | 适用场景 |
|---|---|---|---|
| 端对端 | dashscope / openai / ... | 1 条 realtime | Qwen-Omni、GPT-4o 等原生全双工模型 |
| 组合编排 | customize | 3 条(LLM + ASR + TTS) | 自选模型拼装,灵活可控 |
本文聚焦端对端模式——只要你的模型能接收音频、输出音频,就能通过统一的插件接口接入系统。
核心架构:三板斧搞定任意模型
整个扩展体系围绕三个接口展开,职责清晰、边界分明:
┌──────────────────────────────────────────────────┐
│ 编排层(电话会话生命周期) │
│ │ │
│ RealtimeModelAdapter │
│ (适配器:工厂 + 配置) │
│ │ │
│ RealtimeModelSession │
│ (会话:一通电活的模型连接) │
│ │ │
│ RealtimeSessionListener │
│ (回调:事件上抛给编排层) │
└──────────────────────────────────────────────────┘
第一板斧:RealtimeModelAdapter — 适配器
它告诉框架"我能处理哪个厂商的模型",并负责创建会话实例。核心就几件事:
provider():声明厂商标识(如dashscope),框架按此自动路由supports(config):同一个厂商可能有多种协议实现,比如百炼的 Audio 和 Omni 模型族会话格式不同getInputSampleRate / getOutputSampleRate:声明音频格式,框架自动完成采样率转换createSession(config, listener):工厂方法,每次通话创建独立的模型会话
只需实现这个接口并注册为 Spring Bean,框架启动时就会自动发现并纳入路由表。
第二板斧:RealtimeModelSession — 会话
这是一通电话中与模型的实时连接,生命周期与通话绑定。你需要实现的关键方法:
connect()— 建连并下发模型配置(提示词、音色、VAD 参数、工具定义等)appendAudio(pcm)— 把电话那头的用户语音源源不断喂给模型cancelResponse()— 用户打断时取消当前播报speakText(text)/speakInstruction(instruction)— 推送文本让模型朗读(如技能播报、静默引导语)
不需要的方法用
default抛UnsupportedOperationException,接口已提供默认实现,按需覆写即可。
第三板斧:RealtimeSessionListener — 事件回调
模型发生的事情,通过这套回调通知编排层:
onUserSpeechStarted / onUserSpeechStopped— 用户起说/说完onUserTranscript(text)— 用户说了什么onBotAudio(pcm)— 模型输出的音频帧onBotTranscript(text)— 模型说了什么onResponseDone(truncated)— 本轮播报结束(含被打断)onFunctionCall(request)— 模型要调工具了
你的适配器内部负责把厂商私有协议事件翻译成这些统一回调即可。
实战:接入一个自部署的 Omni 模型
以接入内网 vLLM 部署的 Qwen3-Omni 为例,整个扩展只做了两件事:
1. 写一个 Adapter
VllmOmniAdapter implements RealtimeModelAdapter
├── provider() → "dashscope"
├── getInputSampleRate() → 16000
├── getOutputSampleRate() → 24000
└── createSession() → new VllmOmniSession(config, listener)
因为 vLLM 部署仍然是百炼协议(Omni Realtime V3),所以 provider 复用 dashscope,用 supports() 根据 URL 是否为百炼官方地址来区分路由。
2. 写一个 Session
VllmOmniSession implements RealtimeModelSession
├── connect() → WebSocket 建连 → 下发 session.update
├── appendAudio() → PCM 转 Base64 → 发送到 WS
├── 事件分发 → 把 WS 返回的 JSON 事件翻译为 Listener 回调
└── cancelResponse / speakText → 用 Omni SDK 的 response.cancel / response.create
核心工作量在 事件分发(dispatch) 上:收到哪个 type 就回调哪个 Listener 方法,本质是一次协议翻译。
接入后的链路
Asterisk 电话 ──PCM──▶ Java 编排层 ──WS──▶ vllmomni 适配层 ──HTTP──▶ vLLM
↑ 零改动 ↑ 新增 Adapter+Session ↑ 已有推理服务
Java 侧完全不知道模型跑在百炼云还是内网——这就是插件化的价值。
参数体系:模型的"配置模板"
除了运行时适配,系统还提供了参数模板自动推导能力。在管理后台新增模型时,系统会根据你填的 provider + type + model 自动生成可配置的参数面板:
- 百炼 Omni 系列:
turn_detection_threshold、silence_duration_ms、enable_thinking - CosyVoice TTS:
instruction(风格指令)、seed(随机种子)、language(合成语言) - GPT Reasoning 系列:
reasoning_effort(思考强度)
参数模板由 ModelParameterProfiles.resolve() 集中管理。你的新模型如需自定义参数,在这里注册即可,前端零改动。
总结:扩展一个模型的成本
回顾整套方案,接入一个自定义端对端模型的真实成本:
| 工作项 | 工作量 | 说明 |
|---|---|---|
实现 RealtimeModelAdapter |
~30 行 | 声明厂商、采样率、工厂方法 |
实现 RealtimeModelSession |
~200-400 行 | 核心:建连 + 事件翻译 + 音频收发 |
| 注册参数模板(可选) | ~10 行/参数 | 让管理后台可配置模型参数 |
| 注册 Spring Bean | 0 行 | @Component 即可,自动发现 |
核心逻辑就是 建连 + 协议翻译,剩下的事情(采样率转换、打断编排、会话管理、电话挂接)框架全包。
架构上始终贯彻一个原则:厂商差异关在适配器里,编排层只看见统一接口。不管是百炼云、vLLM 自部署,还是未来接入火山引擎、DeepSeek 的实时语音——都只是在 RealtimeModelAdapter 的 List 里多一个 Bean 而已。