不想被端对端模型"全家桶"绑定?聊聊 SmartCall 基于 LiveKit Agents 的组合编排模式,如何像搭积木一样拼装语音管线
两种路线:全家桶 vs 自助餐
上篇我们聊了端对端模型——像 Qwen3-Omni、GPT-4o 这类原生全双工模型,一条 realtime 绑定搞定"听—想—说"全流程。但现实中你可能会想:
- ASR 用百炼 Qwen-ASR,LLM 用 DeepSeek,TTS 用火山引擎——三件事交给三个最擅长的厂商
- 某个环节效果不满意,单独换掉它,不用动其他两个
- 给每个环节独立调参:ASR 断句时长、LLM 温度、TTS 语速,互不干扰
这就是 customize(组合编排)模式。是一个基于 LiveKit Agents 框架的独立 Python 进程——smart-voice-agent。
整体架构:Java 管配置,Python 跑管线,LiveKit 传音频
┌──────────────────────────────────────────────────────────┐
│ Java(SmartCall 主进程) │
│ ┌─────────────┐ ┌──────────────────┐ │
│ │ call_model │──▶│ RealtimeConfig │ 控制通道(WS) │
│ │ 模型目录 │ │ Mapper 装配快照 │──────────────┐ │
│ └─────────────┘ └──────────────────┘ │ │
│ │ │
│ ┌─────────────┐ ┌──────────────────┐ │ │
│ │ call_agent │──▶│ AgentModelSlots │ │ │
│ │ 智能体配置 │ │ 校验三槽完整 │ │ │
│ └─────────────┘ └──────────────────┘ │ │
└────────────────────────────────────────────────────────┘ │
▼
┌──────────────────────────────────────────────────────────────┐
│ smart-voice-agent(Python 独立进程) │
│ │
│ SessionConfig(Pydantic 契约校验) │
│ │ │
│ ▼ │
│ ProviderRegistry ──▶ build_pipeline() │
│ │ │ │ │ │
│ ▼ ▼ ▼ ▼ │
│ (kind, provider, STTFactory LLMFactory TTSFactory │
│ adapter) 三元组 │ │ │ │
│ ▼ ▼ ▼ │
│ stt.STT llm.LLM tts.TTS │
│ (LiveKit Agents SDK 标准接口) │
└──────────────────────────────────────────────────────────────┘
│
▼
LiveKit Room
(音频流、事件总线)
核心思想:Java 只负责把模型配置组装成一份跨语言快照,通过 WebSocket 下发给 Python Agent。Agent 根据快照里的 (provider, adapter) 找到对应的工厂,创建 LiveKit SDK 标准的 STT / LLM / TTS 组件。音频流全部走 LiveKit Room,不经过 Java。
三层抽象:Factory → Registry → Pipeline
第一层:ProviderFactory — 一个模型一种工厂
每种 (STT / LLM / TTS) × (厂商) × (协议) 的组合,对应一个 Factory 子类。Factory 不建连接、不读凭证,只管三件事:
| 生命周期 | 方法 | 职责 |
|---|---|---|
| 校验 | validate(config, audio) |
检查认证类型、音频格式、必填参数是否对得上,不满足直接抛 ProviderConfigError |
| 构造 | create(config, resources, audio) |
真正 new 出 SDK 组件,把连接池等资源登记进 PipelineResources(通话结束自动逆序释放) |
| 预热 | prewarm(component) |
连接池插件在此完成鉴权建连,必须等到可验证的就绪结果,失败则阻止通话启动 |
三种 Factory 的产物类型由 LiveKit SDK 约束:
STTFactory→stt.STT(流式语音识别,输出INTERIM_TRANSCRIPT/FINAL_TRANSCRIPT)LLMFactory→llm.LLM(LLM 对话,输入 messages 输出流式文本)TTSFactory→tts.TTS(语音合成,输入文本输出音频帧)
产物都是 LiveKit SDK 的标准抽象,Agent 核心逻辑不写一行
if provider == "dashscope"——完全由 Factory 屏蔽厂商差异。
第二层:ProviderRegistry — 冻结的注册表
所有 Factory 按 (kind, provider, adapter) 三元组注册到一张全局注册表里,启动时冻结:
("stt", "aliyun", "nls") → AliyunSTTFactory
("stt", "dashscope", "fun_asr_realtime") → FunASRSTTFactory
("stt", "dashscope", "qwen_asr_realtime") → QwenASRSTTFactory
("tts", "aliyun", "nls") → AliyunTTSFactory
("tts", "doubao", "seed_tts") → DoubaoTTSFactory
("tts", "dashscope", "cosyvoice") → CosyVoiceTTSFactory
("tts", "dashscope", "qwen_tts") → QwenTTSFactory
("llm", "openai", "chat_completions") → OpenAILLMFactory
("llm", "openai", "responses") → OpenAILLMFactory (Responses)
("llm", "dashscope", "generation") → DashScopeLLMFactory
("llm", "dashscope", "chat_completions") → OpenAILLMFactory (兼容)
("llm", "deepseek", "responses") → DeepSeekLLMFactory
注册表一旦冻结,通话期间不可更改——防止运行时注入不受信的工厂代码。
第三层:build_pipeline — 按快照装配三件套
每通 customize 电话进来,Agent 拿到 Java 下发的 SessionConfig,调用 build_pipeline():
- 从快照里拆出
stt/llm/tts三个ModelConfig - 到注册表里按
(kind, config.provider, config.adapter)找到对应的 Factory - 逐个调
validate→create→prewarm - 任一步失败,已构造的组件逆序释放,错误上抛
- 成功则返回
Pipeline(stt=..., llm=..., tts=...),交给 Agent 主循环驱动
至此,ASR 开始听、LLM 开始想、TTS 开始说——各玩各的协议,Agent 只看见统一的 LiveKit SDK 接口。
实战:三个典型扩展场景
场景一:接入新厂商的 TTS(火山引擎 SeedTTS)
已有实现可参考 apps/tts/doubao/seed_tts/:
- 写 Factory:继承
TTSFactory,实现validate(校验doubao_app认证、voice 非空、采样率白名单)和create(newDoubaoTTS,传入 auth、endpoint、speaker、prewarm 池大小) - 写 TTS 组件:继承
tts.TTS,封装火山双向流式 WebSocket 协议,实现synthesize()输出SynthesizedAudio帧 - 注册:在
register_builtins()加一行("tts", "doubao", "seed_tts", DoubaoTTSFactory()) - Java 侧:
ModelProviderEnum已有DOUBAO,ModelAdapter已路由doubao → "seed_tts",无需改动
核心工作量是 TTS 组件里的 WebSocket 协议对接。Factory 和注册都是套路代码。
场景二:接入一个自部署的 ASR
比如你用 vLLM 部署了 Qwen-ASR,不走百炼云:
- 在 Java 的
call_model录入:provider=dashscope, type=2, model=qwen3-asr-flash-realtime, url=你的内网 WS 地址 - Java 把自定义 url 写进
ModelConfig.endpoint QwenASRSTTFactory.create()读到 endpoint 后直连你的内网,不走百炼
一行代码不用写。 QwenASRSTT 本身就支持自定义 WebSocket endpoint。
场景三:部署时扩展新厂商(不修改 Agent 源码)
如果不想改 register_builtins(),可以在 Agent 启动脚本里通过 configure_providers() 回调注入:
from apps.providers import configure_providers, ProviderRegistry, STTFactory
class MyCustomSTTFactory(STTFactory):
...
def register_my_plugins(registry: ProviderRegistry):
registry.register("stt", "my_vendor", "my_protocol", MyCustomSTTFactory())
configure_providers(register_my_plugins)
Agent 收到第一条通话任务前执行,全局生效。不需要改 Agent 一行核心代码。
Java 侧的配合:模型目录 + 参数模板
Python Agent 只管"执行",模型的元信息和可配置参数仍由 Java 侧管理:
模型目录(call_model 表)
| 字段 | 意义 | 示例 |
|---|---|---|
provider |
厂商标识 | dashscope / deepseek / doubao |
type |
槽位类型 | 1=LLM / 2=ASR / 3=TTS |
adapter |
适配器标识 | qwen_asr_realtime / seed_tts / generation |
model |
模型代码 | qwen3-asr-flash-realtime / deepseek-v4-pro |
url |
服务地址 | 留空走厂商默认,填自定义地址走上文场景二 |
authType + authConfig |
认证信息 | api_key / aliyun_ak / doubao_app / none |
参数模板(ModelParameterProfiles)
系统根据 (provider, type, model) 自动推导可配置参数,管理后台据此渲染面板:
| 槽位 | 适配器 | 典型参数 |
|---|---|---|
| ASR | qwen_asr_realtime | 采样率、识别语言(25 种)、断句等待、VAD 阈值 |
| ASR | fun_asr_realtime | 采样率、断句等待 |
| TTS | cosyvoice | 采样率(6 档)、语速、音量、音调、风格指令、合成语言、随机种子 |
| TTS | seed_tts | 采样率(4 档)、语速、响度 |
| LLM | chat_completions | 温度、Top P、Top K、最大 Token、思考模式、联网搜索 |
这些参数通过 ModelConfig.params 传给 Python Agent,各 Factory 自行解析消费。
预生成:ASR 还没说完,LLM 就开始想
Customize 模式的一个关键优化是预生成(Preemptive Generation):利用 ASR 的中间转写结果(INTERIM_TRANSCRIPT),在用户话还没说完时就提前调 LLM。一旦最终转写和中间结果正文一致,候选回复直接复用,延迟大幅降低。
这个能力在 Agent 公共链路中实现,新增的 ASR 适配器只要遵循 LiveKit 标准的 INTERIM_TRANSCRIPT 事件就能自动接入,无需额外代码。
总结
新架构下,扩展一个模型的真实成本:
| 你要做的事 | 改哪里 | 典型工作量 |
|---|---|---|
| 已有适配器 + 自定义 endpoint | Java call_model 录入 url |
0 行代码 |
| 已有适配器 + 新模型型号 | Java 参数模板注册 | ~10 行 |
| 新厂商 / 新协议 | 实现 STTFactory / TTSFactory / LLMFactory + 对应 SDK 组件 |
~200-400 行 |
| 注册到 Agent | register_builtins() 一行 或 configure_providers() 回调 |
1 行 |
核心原则不变:厂商差异关在 Factory 里,Agent 只看见 LiveKit 标准接口。STT 就是 stt.STT,TTS 就是 tts.TTS,LLM 就是 llm.LLM——Agent 主循环不关心这些组件背后连的是百炼云、火山引擎,还是你 GPU 机房里自部署的 vLLM。