自研 AOQ 协议，为多模态 AI 构建确定性传输底座

2026-07-22 692

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： AOQ（AI Over QUIC）是专为多模态AI设计的自研传输协议，首创“实时+非实时”双模自适应机制，支持文本、音视频、文件全格式统一承载与强同步。基于QUIC深度优化，具备0-RTT建连、流级容错、智能带宽调度等能力，60%高丢包下仍保障流畅交互，突破弱网瓶颈，实现低延迟、高可靠、强同步三者兼得。

一、前言

随着大模型向多模态全面演进，AI 应用正从云端走向终端。端侧公网“最后一公里”的网络波动与 AI 推理所需要海量数据的实时传输需求之间，存在较大的冲突，会使得模型的推理效果以及用户体验大打折扣。
为了解决这一问题，自研了AOQ（AI Over Quic）协议，支持文本、音视频、文件的全格式统一承载。为了更加贴合多模态模型的数据生产和消费特点，更创新性地实现了“实时/非实时”双模自适应，旨在极端弱网环境下为多模态模型提供确定性的低延迟与高可靠体验，做到多模态模型体验的技术领先性。

二、多模态 AI 双工交互对传输协议的“升维考验”

多模态大模型通话场景，迫使网络传输协议直面两个“近似冲突”的硬性挑战：

端侧弱网低延时：地铁、电梯等场景下，高丢包、大抖动、带宽骤降成为常态。弱网导致的卡顿和连接中断，会瞬间击穿用户对 AI 交互的耐心。
数据异构强对齐：AI 交互混合了指令、音视频、长文本等异构载体。传统实时协议为保流畅常牺牲可靠性，导致数据截断；同时，多通道独立传输缺乏协同，极易引发口型、声音与字幕脱节。

简言之，两个挑战分别要求网络传输具备实时性和可靠性、同步性，三者构成的“不可能三角”令经典传输协议顾此失彼。

	弱网实时	内容可靠有序	多载体强同步	用户感受
传统可靠协议	❌	✅	✅	“太慢太卡”
传统实时协议	✅	❌	❌	“能到，交互形式单一”
AOQ	✅	✅	✅	“能到，交互丰富”

AOQ基于QUIC协议的底层优势，参考传统实时协议的优化手段，针对AI多模态数据的复杂特性进行了深度定制与重构，实现了实时、可靠和同步的三者兼得。通过实测对比，AOQ相比于经典协议（如可靠协议WebSocket及实时协议WebRTC），展现了全方位能力提升。

三、AOQ的破局与核心优势

针对AI全双工业务，AOQ协议抽象出物理层、传输层、模型对接层与应用层，逐层深度优化适配，在全格式承载能力、AI业务模式适配、极致弱网对抗、多流协同同步等维度上实现了代际跨越。

1. 全格式原生承载：打破协议壁垒，实现“一链通传”

混合流量一体化：在单 QUIC 连接内，AOQ 原生支持文本指令、语音消息、图片、大体积文件、实时流媒体的并行传输。
多模态时序强同步：即使模型异步生成音频、视频、文本存在速度差异，AOQ 仍可依据全局时钟同步与关联映射机制，完成强制同步和映射，避免出现音画不同步、图文错位等现象。
交互全链路加密：全格式数据原生加密，无论控制指令、文本、文件，抑或实时音视频、图片，均全时段密文传输，确保端云双向的隐私安全与防劫持能力。
多模态单协议全交互：

视频演示👉https://cloud.video.taobao.com/vod/-TAtHl8lbylhwoMfuU6uIKUtk_PT3xEcYRRAulDuhrQ.mp4

2. “实时+非实时”双模自适应：精准匹配AI生产节奏

针对大模型输出数据“快慢不均”的特性，AOQ 独创了双模式自适应机制

实时模式 (Real-Time Mode)：专为对时效性极度敏感的流式数据设计，比如摄像头与麦克风的实时采集。秉持“新鲜度和流畅性优先”理念，保障音画同步与交互的即时响应。
非实时模式 (Non-Real-Time Mode)：面向对数据完整性与顺序有严格要求，以及数据可以提前发送并缓存的场景。秉持“可靠性优先和超前发送”的理念，端侧进行超前缓存，从而降低全链路延迟，并保证极强的网络韧性。
非实时模式超前可靠发送，断网依然续播：