通义 CoGenAV 大模型音画同步感知,重新定义语音理解边界

简介: CoGenAV 是一种创新的多模态语音理解模型,核心理念是实现“音画同步”的深度理解。通过学习 audio-visual-text 的时序对齐关系,构建更鲁棒、更通用的语音表征框架。它在视觉语音识别(VSR)、音视频语音识别(AVSR)、语音增强与分离(AVSE/AVSS)及主动说话人检测(ASD)等任务中表现出色,尤其在嘈杂环境下性能显著提升。仅需 223 小时数据训练即可媲美传统数千小时数据的效果,大幅降低训练成本。CoGenAV 支持主流平台如 GitHub、HuggingFace 和 ModelScope,助力多场景应用开发。

image.png

image.png

听清+看懂每一句话

CoGenAV 的核心理念是 AI 模型也实现“音画同步”的深度理解。它不再只是“听见声音”,而是通过学习 audio-visual-text 之间的时序对齐关系,构建出一个更鲁棒更通用的语音表征框架

该框架能系统性地提升多个 Speech-Centric 任务的表现力,包括但不限于:语音识别任务(VSR/AVSR),语音重建任务(AVSS/AVSE),以及语音同步任务(ASD)。

image.png

CoGenAV 创新性的采用“对比生成同步”策略,能从 audio-visual-text 多模同步信息中高效地学习到高质量的音视频特征表示。这种能力使它不仅适用于传统的语音识别任务,还能拓展至语音重建、说话人判断等多个领域。此外,CoGenAV 可直接接入主流语音识别模型(如 Whisper),无需修改或微调即可实现视觉语音识别功能,显著降低了部署门槛。CoGenAV 还展现出出色的抗噪能力和数据效率。在嘈杂环境中,它能够通过视觉信息补全被噪声干扰的声音内容,从而稳定输出准确结果。而在训练数据方面,仅需 223 小时的数据量,就能达到甚至超越传统模型使用数千小时数据的效果。这大大节省了训练成本,也增强了模型的实用性与扩展潜力。

如何实现音画同步?

CoGenAV 的核心框架由两个关键部分组成:音视频特征表示对比生成同步训练机制。

在特征提取阶段,模型采用 ResNet 3D CNN 来分析视频中说话人的唇部动作,捕捉声音与口型之间的动态关联;同时用 Transformer 编码器提取音频中的语音信息。这些音视频特征会被精确对齐,确保“听到的声音”和“看到的嘴型”在时间上完全匹配。

对比生成同步训练通过两种方式提升模型的理解能力:

  • 对比同步采用 Seq2Seq Contrastive Learning 方法,增强音频与视频特征之间的对应关系,帮助模型更准确地识别声音与口型的匹配。同时引入 ReLU 激活函数,过滤掉不相关的干扰帧,提升模型在复杂环境下的稳定性。
  • 生成同步,借助一个预训练 ASR 模型(如 Whisper)作为“老师”,将 CoGenAV 提取的音视频特征与其声学-文本表示对齐。为了弥补不同模态之间的差异,模型设计了一个轻量级适配模块(Delta Upsampler + GatedFFN MHA),有效提升了跨模态融合效率。

这套“双轮驱动”的训练策略,使 CoGenAV 在多个语音任务中都表现出色,真正实现了“听清 + 看懂”的多模态理解。

性能领先记录刷新

CoGenAV在多个基准数据集上取得了突破性成果。

视觉语音识别(VSR):在 LRS2 数据集上,仅用 223 小时唇动视频训练,就在视觉语音识别(VSR)任务中达到 20.5% 的词错误率(WER),效果媲美使用数千小时数据的传统模型。

image.png

音视频语音识别(AVSR):结合 Whisper Medium 模型,在相同数据集实现 1.27% WER,刷新 SOTA 记录。在 0dB 噪声环境下,性能提升超过 80%,显著优于纯音频模型(如Whisper Medium的34.2% WER)。

image.png

语音增强与分离(AVSE/AVSS):在 LRS2 语音分离与任务中,CoGenAV作为视觉特征提取器,SDRi指标达 16.0 dB ,超越AvHuBERT 1.6 dB,Av SepFormer 0.3 dB。 语音增强任务中,SDRi指标为 9.0 dB ,优于Av HuBERT 1.6 dB。

image.png

主动说话人检测(ASD):在Talkies数据集上,CoGenAV的平均精度(mAP)达到 96.3% ,领先现有方法(如LocoNet的96.1%)。

image.png

是不是很实用呢,赶快来体验一下新的模型能力吧~~

可使用平台:

GitHub: https://github.com/HumanMLLM/CoGenAV

arivx: https://arxiv.org/pdf/2505.03186

HuggingFace: https://huggingface.co/detao/CoGenAV

ModelScope: https://modelscope.cn/models/iic/cogenav


⛳如果还想要了解更多通义大模型的模型详细信息以及直接进入体验,可以点击🔗https://www.aliyun.com/product/tongyi直接进入查看和体验哦~~

也可以关注一下通义大模型的公众号,后续有新的产品动态都会在内发布。

通义大模型公众号二维码.png


相关实践学习
如何快速创建插件agent
阿里云百炼应用基于Assistant API技术架构,结合大语言模型(LLM)的推理、知识检索增强、插件调度等能力,构建应对各类复杂场景任务的场景应用。通过集成化、直观易用的产品界面,为开发者提供了丰富的应用配置选项,包括大型语言模型(LLM)选择、Pro
目录
打赏
0
10
10
0
572
分享
相关文章
从“看图说话”到“脑补世界”:多模态大模型的进化之路
从“看图说话”到“脑补世界”:多模态大模型的进化之路
149 63
阿里云AirCache技术实现多模态大模型高效推理加速,入选国际顶会ICCV2025
阿里云研发的AirCache技术被计算机视觉顶会ICCV2025收录,该技术通过激活跨模态关联、优化KV缓存压缩策略,显著提升视觉语言模型(VLMs)的推理效率与存储性能。实验表明,在保留仅10%视觉缓存的情况下,模型性能下降小于1%,解码延迟最高降低66%,吞吐量提升达192%。AirCache无需修改模型结构,兼容主流VLMs,已在教育、医疗、政务等多个行业落地应用,助力多模态大模型高效赋能产业智能化升级。
基于多模态感知的工业安全行为识别技术突破
本项目通过分层特征增强架构,突破工业安全监控中微小目标检测难、行为理解缺失和响应延迟高等技术瓶颈。采用动态ROI聚焦、时空域建模与联邦学习等创新技术,实现厘米级行为捕捉,准确率提升300%,隐患识别响应速度提高112倍,并已在危化、电力、医疗等行业落地应用,具备广阔推广前景。
36 0
📣通义大模型新成员Qwen-VLo,重磅上线,它实现了从“看懂”世界到“描绘”世界
通义千问团队推出全新多模态统一理解与生成模型Qwen VLo,具备强大的图像理解与生成能力。它不仅能“看懂”图像内容,还能基于理解进行高质量再创造,实现从感知到生成的跨越。支持开放指令编辑、多语言交互及复杂任务处理,适用于图像生成、风格迁移、检测标注等多种场景。
206 0
通义OmniAudio大模型,让 AI 看懂 360° 视频,并“听”出对应的空间音频
OmniAudio 是一项突破性的空间音频生成技术,能够直接从 360° 视频生成 FOA(First-order Ambisonics)空间音频,为虚拟现实和沉浸式娱乐带来全新可能。通过自监督 coarse-to-fine 预训练和双分支视频表示微调,OmniAudio 在非空间音频质量和空间定位准确性上显著优于现有方法。项目包含超过 103,000 个视频片段的 Sphere360 数据集,支持高质量的模型训练与评估。代码、数据及论文均已开源,助力沉浸式体验技术发展。
289 62
Gemma 3n正式版开源:谷歌全新端侧多模态大模型,2GB 内存就能跑,重点提升编码和推理能力!
6月底,Google正式开源发布了全新端侧多模态大模型 Gemma 3n!相较此前的预览版,最新的 Gemma 3n 完整版进一步提升性能表现,支持在 2GB 内存的硬件上本地运行,重点提升了编码和推理方面的能力。
88 1
智能体(AI Agent)开发实战之【LangChain】(二)结合大模型基于RAG实现本地知识库问答
智能体(AI Agent)开发实战之【LangChain】(二)结合大模型基于RAG实现本地知识库问答

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问