前言
端到端实时语音大模型正在重构AI客服的对话体验，但绝大多数方案都深度绑定公有云API。对于政务、金融、央企等强合规场景，通话音频、客户数据、对话内容一旦出网就存在合规风险，无法直接使用公有云服务；而自研适配端到端模型，又面临协议对接、音频适配、会话控制、打断机制等一系列技术门槛，开发成本高、周期长。
SmartCall 针对私有化内网场景，推出了 vllmomni 开源模型适配层，专门完成开源 Omni 系列端到端语音模型与 SmartCall 实时通话链路的深度对接。无需依赖公有云接口，所有音频、对话、业务数据全程内网闭环，同时保留完整的全双工对话、实时打断、工具调用等核心能力，为高合规要求场景提供了可落地的私有化AI呼叫中心方案。
一、为什么要专门做开源 Omni 模型适配
端到端语音大模型的落地，不是简单接个API就能用，在私有化场景下存在多层障碍：
- 协议不兼容：开源 Omni 模型的实时 WebSocket 协议、音频流格式、会话控制逻辑，和呼叫中心原有通话链路不匹配，直接对接需要大量改造；
- 音频格式断层：电话侧是标准 8kHz 16bit PCM 语音，而开源模型通常有自身的采样率要求，两端不匹配会导致识别率下降、声音失真；
- 能力缺失：实时打断（Barge-in）、音色控制、Function Calling 工具调用这些核心能力，需要从模型协议层到通话业务层全链路适配；
- 合规风险：调用公有云API意味着通话音频、客户数据流出企业内网，无法满足等保、数据不出域的硬性要求。
vllmomni 适配层的核心作用，就是在 SmartCall 实时通话引擎和开源 Omni 模型之间，做一层标准化的协议与能力桥接，让私有化部署的开源模型，能像公有云服务一样完整支撑AI通话业务。
二、核心技术：vllmomni 适配层设计
vllmomni 定位为模型协议适配层，对上对接 SmartCall 实时会话调度体系，对下对接本地部署的开源 Omni 端到端模型，屏蔽模型协议差异，向上提供统一的能力接口。
2.1 协议与会话适配
适配层完整封装 Omni 模型的实时 WebSocket 协议，实现全生命周期会话管理：
- 会话建立：接收 SmartCall 会话调度层的请求，自动与本地 Omni 模型建立 WebSocket 连接，下发模型参数、音色、提示词等配置；
- 双向音频流桥接：上行接收电话侧音频流，转封装后送入模型；下行接收模型流式语音，转发回通话链路；
- 状态同步：模型侧的语音检测、话轮切换、会话状态，实时同步回 SmartCall 会话层，保证业务逻辑一致。
2.2 音频格式自动适配
针对电话语音与模型采样率不匹配的问题，适配层内置音频处理能力：
- 自动完成 8kHz 电话音频与模型要求采样率之间的双向重采样；
- 统一封装为 16bit 单声道 PCM 格式，兼容不同版本开源 Omni 模型的音频输入要求；
- 音频帧时序对齐，避免快放、卡顿、丢字，保证通话体验。
2.3 核心能力对齐
适配层完整对齐公有云版本的核心能力，上层业务逻辑无需修改：
- 全双工实时对话：支持双向并行音频流，边听边说，对话自然流畅；
- 实时打断（Barge-in）：支持用户插话打断，适配层联动模型终止当前播报，切换聆听状态，体验与真人一致；
- 音色控制：支持指定模型内置音色，适配不同业务场景；
- Function Calling：完整对接模型工具调用协议，向上接入 SmartCall 技能编排体系，支持调用内部业务接口。
2.4 纯本地化运行
vllmomni 适配层本身为本地服务，所有数据交互均在内网完成：
- 不调用任何公网接口、不上传任何音频数据；
- 模型部署在企业内网服务器，适配层本地调用；
- 通话录音、对话记录、业务数据全部留存本地，全程数据不出域。
三、全链路内网部署架构
整套方案从通信到AI能力完全本地化，整体分为三层：
1. 通话接入层
- Asterisk 通信底座负责电话线路接入、坐席对接、外呼发起；
- 所有通话链路在内网完成，不依赖公网中继。
2. 适配与调度层
- vllmomni 适配层负责开源 Omni 模型的协议对接、音频适配、会话控制；
- SmartCall 实时会话引擎负责通话编排、技能调度、工具调用、坐席干预。
3. 模型层
- 本地部署开源 Omni 系列端到端语音大模型；
- 可根据业务需求选择不同参数量版本，支持GPU/CPU多种部署方式。
架构优势：各层解耦，模型升级、适配层优化、业务调整互不影响；全部组件内网部署，无外部依赖。
四、能力不打折：和公有云一致的业务体验
很多私有化方案“能跑但不好用”，vllmomni 适配层在本地化的同时，完整保留了 SmartCall 的全量业务能力：
- 智能体配置：提示词、技能、工具全部沿用原有配置，切换模型无需改业务；
- 人工强插/强断：支持管理员实时强制转人工、强制挂断，服务质量可控；
- 坐席转接：AI转人工、人工回切AI完整流程可用，坐席侧无感知；
- 通话质检：录音、转写、质检全链路内网完成，满足审计要求。
简单来说：公有云版本能实现的业务能力，内网私有化方案全部都能实现，区别只在于模型运行在本地、数据不出内网。
五、部署与使用
部署方式
- 本地部署开源 Omni 端到端语音模型，确保内网可访问；
- 部署 vllmomni 适配服务，配置模型服务地址、采样率、音色等参数；
- 在 SmartCall 模型管理中新增本地 Omni 模型，指向 vllmomni 适配服务；
- 智能体选择对应模型，配置提示词、技能、工具，即可投入使用。
适用场景
- 政务/金融/央企：数据不出内网、合规要求高的客服热线、政务热线；
- 大型企业：已有内部数据中心，希望自建AI客服体系，不依赖第三方SaaS；
- 涉密业务：通话内容敏感，不能经过公有云服务的场景。
六、方案价值
1. 合规可控
全链路数据不出内网，通话音频、客户信息、对话内容全部本地闭环，满足等保、数据安全等合规要求。
2. 成本可控
基于开源模型构建，没有按调用量、按时长的计费，业务规模越大，相比公有云方案成本优势越明显。
3. 自主可控
从呼叫中心到底层模型全部自主掌控，可根据业务需求定制优化，不受厂商排期、价格、服务限制。
4. 能力完整
不是“阉割版”私有化方案，双工对话、实时打断、工具调用、人工干预全能力保留，业务体验不打折。
总结
vllmomni 适配层的出现，补上了开源端到端语音模型落地呼叫中心的关键一块拼图。它让 SmartCall 的内网私有化不再是“只能用传统TTS+ASR的老旧方案”，而是可以用上体验更优的端到端全双工对话，同时满足数据合规、自主可控、成本可控的核心诉求。
对于有私有化部署需求、又追求高质量AI通话体验的团队，这套基于开源模型的内网方案，是兼顾合规、体验、成本的优质选择。
资源地址
⭐ Gitee 开源仓库：https://gitee.com/gdzWork/SmartCall
