SmartCall如何为 AI 呼叫中心自由组合 ASR、LLM、TTS 模型

简介: SmartCall 基于 LiveKit Agents 实现灵活的组合编排模式,支持像搭积木一样自由拼装 ASR、LLM、TTS 组件,解耦厂商绑定,独立调参、单独替换、内网自部署,兼顾性能、可控性与合规性。(239字)

不想被端对端模型"全家桶"绑定?聊聊 SmartCall 基于 LiveKit Agents 的组合编排模式,如何像搭积木一样拼装语音管线


两种路线:全家桶 vs 自助餐

上篇我们聊了端对端模型——像 Qwen3-Omni、GPT-4o 这类原生全双工模型,一条 realtime 绑定搞定"听—想—说"全流程。但现实中你可能会想:

  • ASR 用百炼 Qwen-ASR,LLM 用 DeepSeek,TTS 用火山引擎——三件事交给三个最擅长的厂商
  • 某个环节效果不满意,单独换掉它,不用动其他两个
  • 给每个环节独立调参:ASR 断句时长、LLM 温度、TTS 语速,互不干扰

这就是 customize(组合编排)模式。是一个基于 LiveKit Agents 框架的独立 Python 进程——smart-voice-agent。


整体架构:Java 管配置,Python 跑管线,LiveKit 传音频

┌──────────────────────────────────────────────────────────┐
│  Java(SmartCall 主进程)                                  │
│  ┌─────────────┐   ┌──────────────────┐                  │
│  │ call_model   │──▶│ RealtimeConfig   │  控制通道(WS)     │
│  │ 模型目录      │   │ Mapper 装配快照   │──────────────┐    │
│  └─────────────┘   └──────────────────┘               │    │
│                                                        │    │
│  ┌─────────────┐   ┌──────────────────┐               │    │
│  │ call_agent   │──▶│ AgentModelSlots  │               │    │
│  │ 智能体配置    │   │ 校验三槽完整       │               │    │
│  └─────────────┘   └──────────────────┘               │    │
└────────────────────────────────────────────────────────┘    │
                                                              ▼
┌──────────────────────────────────────────────────────────────┐
│  smart-voice-agent(Python 独立进程)                          │
│                                                              │
│  SessionConfig(Pydantic 契约校验)                             │
│       │                                                      │
│       ▼                                                      │
│  ProviderRegistry ──▶ build_pipeline()                       │
│       │                  │       │        │                  │
│       ▼                  ▼       ▼        ▼                  │
│  (kind, provider,   STTFactory  LLMFactory  TTSFactory       │
│   adapter) 三元组        │         │         │                │
│                          ▼         ▼         ▼                │
│                      stt.STT   llm.LLM   tts.TTS              │
│                      (LiveKit Agents SDK 标准接口)              │
└──────────────────────────────────────────────────────────────┘
                                 │
                                 ▼
                        LiveKit Room
                     (音频流、事件总线)

核心思想:Java 只负责把模型配置组装成一份跨语言快照,通过 WebSocket 下发给 Python Agent。Agent 根据快照里的 (provider, adapter) 找到对应的工厂,创建 LiveKit SDK 标准的 STT / LLM / TTS 组件。音频流全部走 LiveKit Room,不经过 Java。


三层抽象:Factory → Registry → Pipeline

第一层:ProviderFactory — 一个模型一种工厂

每种 (STT / LLM / TTS) × (厂商) × (协议) 的组合,对应一个 Factory 子类。Factory 不建连接、不读凭证,只管三件事:

生命周期 方法 职责
校验 validate(config, audio) 检查认证类型、音频格式、必填参数是否对得上,不满足直接抛 ProviderConfigError
构造 create(config, resources, audio) 真正 new 出 SDK 组件,把连接池等资源登记进 PipelineResources(通话结束自动逆序释放)
预热 prewarm(component) 连接池插件在此完成鉴权建连,必须等到可验证的就绪结果,失败则阻止通话启动

三种 Factory 的产物类型由 LiveKit SDK 约束:

  • STTFactory → stt.STT(流式语音识别,输出 INTERIM_TRANSCRIPT / FINAL_TRANSCRIPT)
  • LLMFactory → llm.LLM(LLM 对话,输入 messages 输出流式文本)
  • TTSFactory → tts.TTS(语音合成,输入文本输出音频帧)

产物都是 LiveKit SDK 的标准抽象,Agent 核心逻辑不写一行 if provider == "dashscope"——完全由 Factory 屏蔽厂商差异。

第二层:ProviderRegistry — 冻结的注册表

所有 Factory 按 (kind, provider, adapter) 三元组注册到一张全局注册表里,启动时冻结:

("stt",  "aliyun",    "nls")               → AliyunSTTFactory
("stt",  "dashscope", "fun_asr_realtime")   → FunASRSTTFactory
("stt",  "dashscope", "qwen_asr_realtime")  → QwenASRSTTFactory
("tts",  "aliyun",    "nls")               → AliyunTTSFactory
("tts",  "doubao",    "seed_tts")           → DoubaoTTSFactory
("tts",  "dashscope", "cosyvoice")          → CosyVoiceTTSFactory
("tts",  "dashscope", "qwen_tts")           → QwenTTSFactory
("llm",  "openai",    "chat_completions")   → OpenAILLMFactory
("llm",  "openai",    "responses")          → OpenAILLMFactory (Responses)
("llm",  "dashscope", "generation")         → DashScopeLLMFactory
("llm",  "dashscope", "chat_completions")   → OpenAILLMFactory (兼容)
("llm",  "deepseek",  "responses")          → DeepSeekLLMFactory

注册表一旦冻结,通话期间不可更改——防止运行时注入不受信的工厂代码。

第三层:build_pipeline — 按快照装配三件套

每通 customize 电话进来,Agent 拿到 Java 下发的 SessionConfig,调用 build_pipeline():

  1. 从快照里拆出 stt / llm / tts 三个 ModelConfig
  2. 到注册表里按 (kind, config.provider, config.adapter) 找到对应的 Factory
  3. 逐个调 validate → create → prewarm
  4. 任一步失败,已构造的组件逆序释放,错误上抛
  5. 成功则返回 Pipeline(stt=..., llm=..., tts=...),交给 Agent 主循环驱动

至此,ASR 开始听、LLM 开始想、TTS 开始说——各玩各的协议,Agent 只看见统一的 LiveKit SDK 接口。


实战:三个典型扩展场景

场景一:接入新厂商的 TTS(火山引擎 SeedTTS)

已有实现可参考 apps/tts/doubao/seed_tts/:

  1. 写 Factory:继承 TTSFactory,实现 validate(校验 doubao_app 认证、voice 非空、采样率白名单)和 create(new DoubaoTTS,传入 auth、endpoint、speaker、prewarm 池大小)
  2. 写 TTS 组件:继承 tts.TTS,封装火山双向流式 WebSocket 协议,实现 synthesize() 输出 SynthesizedAudio 帧
  3. 注册:在 register_builtins() 加一行 ("tts", "doubao", "seed_tts", DoubaoTTSFactory())
  4. Java 侧:ModelProviderEnum 已有 DOUBAO,ModelAdapter 已路由 doubao → "seed_tts",无需改动

核心工作量是 TTS 组件里的 WebSocket 协议对接。Factory 和注册都是套路代码。

场景二:接入一个自部署的 ASR

比如你用 vLLM 部署了 Qwen-ASR,不走百炼云:

  1. 在 Java 的 call_model 录入:provider=dashscope, type=2, model=qwen3-asr-flash-realtime, url=你的内网 WS 地址
  2. Java 把自定义 url 写进 ModelConfig.endpoint
  3. QwenASRSTTFactory.create() 读到 endpoint 后直连你的内网,不走百炼

一行代码不用写。 QwenASRSTT 本身就支持自定义 WebSocket endpoint。

场景三:部署时扩展新厂商(不修改 Agent 源码)

如果不想改 register_builtins(),可以在 Agent 启动脚本里通过 configure_providers() 回调注入:

from apps.providers import configure_providers, ProviderRegistry, STTFactory

class MyCustomSTTFactory(STTFactory):
    ...

def register_my_plugins(registry: ProviderRegistry):
    registry.register("stt", "my_vendor", "my_protocol", MyCustomSTTFactory())

configure_providers(register_my_plugins)

Agent 收到第一条通话任务前执行,全局生效。不需要改 Agent 一行核心代码。


Java 侧的配合:模型目录 + 参数模板

Python Agent 只管"执行",模型的元信息和可配置参数仍由 Java 侧管理:

模型目录(call_model 表)

字段 意义 示例
provider 厂商标识 dashscope / deepseek / doubao
type 槽位类型 1=LLM / 2=ASR / 3=TTS
adapter 适配器标识 qwen_asr_realtime / seed_tts / generation
model 模型代码 qwen3-asr-flash-realtime / deepseek-v4-pro
url 服务地址 留空走厂商默认,填自定义地址走上文场景二
authType + authConfig 认证信息 api_key / aliyun_ak / doubao_app / none

参数模板(ModelParameterProfiles)

系统根据 (provider, type, model) 自动推导可配置参数,管理后台据此渲染面板:

槽位 适配器 典型参数
ASR qwen_asr_realtime 采样率、识别语言(25 种)、断句等待、VAD 阈值
ASR fun_asr_realtime 采样率、断句等待
TTS cosyvoice 采样率(6 档)、语速、音量、音调、风格指令、合成语言、随机种子
TTS seed_tts 采样率(4 档)、语速、响度
LLM chat_completions 温度、Top P、Top K、最大 Token、思考模式、联网搜索

这些参数通过 ModelConfig.params 传给 Python Agent,各 Factory 自行解析消费。


预生成:ASR 还没说完,LLM 就开始想

Customize 模式的一个关键优化是预生成(Preemptive Generation):利用 ASR 的中间转写结果(INTERIM_TRANSCRIPT),在用户话还没说完时就提前调 LLM。一旦最终转写和中间结果正文一致,候选回复直接复用,延迟大幅降低。

这个能力在 Agent 公共链路中实现,新增的 ASR 适配器只要遵循 LiveKit 标准的 INTERIM_TRANSCRIPT 事件就能自动接入,无需额外代码。


总结

新架构下,扩展一个模型的真实成本:

你要做的事 改哪里 典型工作量
已有适配器 + 自定义 endpoint Java call_model 录入 url 0 行代码
已有适配器 + 新模型型号 Java 参数模板注册 ~10 行
新厂商 / 新协议 实现 STTFactory / TTSFactory / LLMFactory + 对应 SDK 组件 ~200-400 行
注册到 Agent register_builtins() 一行 或 configure_providers() 回调 1 行

核心原则不变:厂商差异关在 Factory 里,Agent 只看见 LiveKit 标准接口。STT 就是 stt.STT,TTS 就是 tts.TTS,LLM 就是 llm.LLM——Agent 主循环不关心这些组件背后连的是百炼云、火山引擎,还是你 GPU 机房里自部署的 vLLM。


开源仓库:https://gitee.com/gdzWork/SmartCall

相关文章
|
4天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
1750 3
|
6天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
6天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
4天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
3717 0
|
19天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
8776 58
|
14天前
|
Linux 开发工具 iOS开发
2026最新codex下载安装保姆级使用教程(下载+安装+登录+使用,含所有历史版本)
本文详解OpenAI Codex国内快速上手指南:提供Win/macOS/Linux全平台免安装包、npm/Homebrew等多方式安装、账号/API Key双登录、简体中文切换,覆盖下载、安装、汉化、使用及高频避坑(如微软商店失败、npm超时等),10分钟即可跑通。
3107 9
|
19天前
|
JavaScript API iOS开发
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(DSH)是DeepSeek于2026年开源的MIT协议AI Agent框架,支持插件化组装模型、工具、沙箱与UI,兼容主流大模型。本文提供免Node.js的桌面端安装包(Win/macOS),含详细图文教程及热门插件推荐。
5863 69
|
7天前
|
云安全 人工智能 安全
|
11天前
|
人工智能 安全 API
DeepSeek Harness下载、安装、配置一篇搞定(2026整理,送常用插件)
DeepSeek Harness(dsh)是DeepSeek AI于2026年开源的轻量级Agent运行框架,基于Cordis内核,践行“一切皆插件”理念。支持Web/桌面双端,开箱即用;内置多模型接入、丰富插件生态(超3.5万),适配编程、办公、创作等场景。(239字)
1955 2

热门文章

最新文章