SmartCall如何为 AI 呼叫中心扩展自定义端对端语音模型

简介: SmartCall 提出端对端实时语音模型插件化方案,通过 `Adapter`、`Session`、`Listener` 三接口抽象,一行代码即可接入任意厂商的全双工语音模型(如Qwen-Omni、GPT-4o),屏蔽协议差异,统一管理音频、事件与参数,大幅提升AI呼叫中心扩展性与实时性。(239字)

从架构设计到一行代码接入:聊聊 SmartCall 的端对端实时模型插件化方案


背景:端对端模型正在改变实时语音交互

传统的 AI 呼叫中心通常采用 ASR → LLM → TTS 的级联流水线:先识别语音转文字,再大模型思考,最后合成语音播报。每一步都有延迟,串在一起体验割裂。

而像 Qwen3-Omni、GPT-4o 这类端对端实时语音模型,直接在音频层面完成"听—想—说"的全流程,延迟压到毫秒级,还能感知语气、情绪,甚至主动打断。这才是真正自然的电话对话体验。

问题是:模型厂商那么多,协议各不同,怎么让系统轻松接入任意一个新模型?


两种模式:端对端 vs 组合编排

SmartCall 把智能体的模型配置抽象为两种模式:

模式 Provider 模型绑定 适用场景
端对端 dashscope / openai / ... 1 条 realtime Qwen-Omni、GPT-4o 等原生全双工模型
组合编排 customize 3 条(LLM + ASR + TTS) 自选模型拼装,灵活可控

本文聚焦端对端模式——只要你的模型能接收音频、输出音频,就能通过统一的插件接口接入系统。


核心架构:三板斧搞定任意模型

整个扩展体系围绕三个接口展开,职责清晰、边界分明:

┌──────────────────────────────────────────────────┐
│              编排层(电话会话生命周期)              │
│                      │                            │
│              RealtimeModelAdapter                 │
│              (适配器:工厂 + 配置)                 │
│                      │                            │
│              RealtimeModelSession                 │
│              (会话:一通电活的模型连接)             │
│                      │                            │
│              RealtimeSessionListener              │
│              (回调:事件上抛给编排层)              │
└──────────────────────────────────────────────────┘

第一板斧:RealtimeModelAdapter — 适配器

它告诉框架"我能处理哪个厂商的模型",并负责创建会话实例。核心就几件事:

  • provider():声明厂商标识(如 dashscope),框架按此自动路由
  • supports(config):同一个厂商可能有多种协议实现,比如百炼的 Audio 和 Omni 模型族会话格式不同
  • getInputSampleRate / getOutputSampleRate:声明音频格式,框架自动完成采样率转换
  • createSession(config, listener):工厂方法,每次通话创建独立的模型会话

只需实现这个接口并注册为 Spring Bean,框架启动时就会自动发现并纳入路由表。

第二板斧:RealtimeModelSession — 会话

这是一通电话中与模型的实时连接,生命周期与通话绑定。你需要实现的关键方法:

  • connect() — 建连并下发模型配置(提示词、音色、VAD 参数、工具定义等)
  • appendAudio(pcm) — 把电话那头的用户语音源源不断喂给模型
  • cancelResponse() — 用户打断时取消当前播报
  • speakText(text) / speakInstruction(instruction) — 推送文本让模型朗读(如技能播报、静默引导语)

不需要的方法用 default 抛 UnsupportedOperationException,接口已提供默认实现,按需覆写即可。

第三板斧:RealtimeSessionListener — 事件回调

模型发生的事情,通过这套回调通知编排层:

  • onUserSpeechStarted / onUserSpeechStopped — 用户起说/说完
  • onUserTranscript(text) — 用户说了什么
  • onBotAudio(pcm) — 模型输出的音频帧
  • onBotTranscript(text) — 模型说了什么
  • onResponseDone(truncated) — 本轮播报结束(含被打断)
  • onFunctionCall(request) — 模型要调工具了

你的适配器内部负责把厂商私有协议事件翻译成这些统一回调即可。


实战:接入一个自部署的 Omni 模型

以接入内网 vLLM 部署的 Qwen3-Omni 为例,整个扩展只做了两件事:

1. 写一个 Adapter

VllmOmniAdapter implements RealtimeModelAdapter
  ├── provider() → "dashscope"
  ├── getInputSampleRate() → 16000
  ├── getOutputSampleRate() → 24000
  └── createSession() → new VllmOmniSession(config, listener)

因为 vLLM 部署仍然是百炼协议(Omni Realtime V3),所以 provider 复用 dashscope,用 supports() 根据 URL 是否为百炼官方地址来区分路由。

2. 写一个 Session

VllmOmniSession implements RealtimeModelSession
  ├── connect() → WebSocket 建连 → 下发 session.update
  ├── appendAudio() → PCM 转 Base64 → 发送到 WS
  ├── 事件分发 → 把 WS 返回的 JSON 事件翻译为 Listener 回调
  └── cancelResponse / speakText → 用 Omni SDK 的 response.cancel / response.create

核心工作量在 事件分发(dispatch) 上:收到哪个 type 就回调哪个 Listener 方法,本质是一次协议翻译。

接入后的链路

Asterisk 电话  ──PCM──▶  Java 编排层  ──WS──▶  vllmomni 适配层  ──HTTP──▶  vLLM
                         ↑ 零改动                   ↑ 新增 Adapter+Session     ↑ 已有推理服务

Java 侧完全不知道模型跑在百炼云还是内网——这就是插件化的价值。


参数体系:模型的"配置模板"

除了运行时适配,系统还提供了参数模板自动推导能力。在管理后台新增模型时,系统会根据你填的 provider + type + model 自动生成可配置的参数面板:

  • 百炼 Omni 系列:turn_detection_threshold、silence_duration_ms、enable_thinking
  • CosyVoice TTS:instruction(风格指令)、seed(随机种子)、language(合成语言)
  • GPT Reasoning 系列:reasoning_effort(思考强度)

参数模板由 ModelParameterProfiles.resolve() 集中管理。你的新模型如需自定义参数,在这里注册即可,前端零改动。


总结:扩展一个模型的成本

回顾整套方案,接入一个自定义端对端模型的真实成本:

工作项 工作量 说明
实现 RealtimeModelAdapter ~30 行 声明厂商、采样率、工厂方法
实现 RealtimeModelSession ~200-400 行 核心:建连 + 事件翻译 + 音频收发
注册参数模板(可选) ~10 行/参数 让管理后台可配置模型参数
注册 Spring Bean 0 行 @Component 即可,自动发现

核心逻辑就是 建连 + 协议翻译,剩下的事情(采样率转换、打断编排、会话管理、电话挂接)框架全包。

架构上始终贯彻一个原则:厂商差异关在适配器里,编排层只看见统一接口。不管是百炼云、vLLM 自部署,还是未来接入火山引擎、DeepSeek 的实时语音——都只是在 RealtimeModelAdapter 的 List 里多一个 Bean 而已。


开源仓库:https://gitee.com/gdzWork/SmartCall

相关文章
|
17天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
7067 52
|
4天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
5天前
|
云安全 人工智能 安全
|
17天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5481 65
|
12天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
2756 8
|
4天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
9天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1790 1
|
2天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1200 0
|
8天前
|
人工智能 iOS开发 开发者
2026年 Codex 下载地址更新:codexdown.cn 已更换为 codexdown.cc(附 Codex 客户端下载)
2026年Codex官方下载站已由codexdown.cn正式迁移至codexdown.cc,提供Windows/macOS最新客户端、历史版本、安装教程及配置指南,开发者可一站式获取稳定、安全、签名验证的AI编程工具资源。(239字)
1634 0

热门文章

最新文章