A Survey of Speech Emotion Recognition Methods |语音情感识别方法综述

简介: 语音情感识别(SpeechEmotionRecognition,SER)旨在从语音信号中推断说话人的情感状态,其核心价值在于将主观的听觉感知转化为可计算的机器决策。早期研究依赖手工声学特征与经典分类器,思路简洁却受制于特征泛化能力不足与标注主观性未建模的瓶颈。当自监督学习(SSL)模型兴起后,研究者转向大规模无标签数据预训练,用更强的通用声学表示换取跨语料鲁棒性。随着大型音频语言模型(ALM)的引入,SER范式从单纯的声学分类转向多模态生成式推理,利用语义理解能力处理情感的歧义性。各路线在表示质量、推理深度与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。

综述原文见 www.arxivreview.com

导读

语音情感识别(Speech Emotion Recognition, SER)旨在从语音信号中推断说话人的情感状态,其核心价值在于将主观的听觉感知转化为可计算的机器决策。早期研究依赖手工声学特征与经典分类器,思路简洁却受制于特征泛化能力不足与标注主观性未建模的瓶颈。当自监督学习(SSL)模型兴起后,研究者转向大规模无标签数据预训练,用更强的通用声学表示换取跨语料鲁棒性。随着大型音频语言模型(ALM)的引入,SER范式从单纯的声学分类转向多模态生成式推理,利用语义理解能力处理情感的歧义性。各路线在表示质量、推理深度与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何度量到语义先验的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

语音情感识别的核心挑战在于情感并非语音信号的固有物理属性,而是说话者意图与听者感知交互的产物。早期研究假设情感具有稳定且可量化的声学对应物,试图通过提取梅尔频率倒谱系数(MFCC)、基频等手工特征,结合支持向量机(SVM)或隐马尔可夫模型(HMM)进行离散分类。这一范式在受控表演数据上表现尚可,但在自然对话场景中迅速失效,因为真实情感表达往往伴随噪声、语境依赖以及标注者间的主观分歧。问题形式化通常定义为 N-way K-shot 分类任务,即给定少量标注样本,模型需预测未见类别的情感标签,但在实际部署中,更关键的是如何在分布偏移下保持推断的稳定性与可信度。

随着数据规模的扩大,问题定义开始从“客观声学分类”向“主观感知建模”演化。IEMOCAP 等早期基准采用单一多数投票标签,掩盖了标注者间的真实差异;而 MSP-Podcast 等新一代语料库引入了多标注者协议和维度评分,迫使模型从确定性分类转向概率分布预测。这种转变揭示了子问题间的深层依赖:跨域泛化失败的根本原因之一,正是标注主观性未被建模,导致模型过拟合源域特定的标注偏差。若不解决情感歧义的分布建模,任何跨域适应策略都难以触及性能上限。

2018 至 2020 年间,自监督学习(SSL)的突破改变了特征提取的范式。Wav2Vec 2.0 和 HuBERT 通过大规模无标签数据预训练,学习到了比手工特征更具泛化能力的通用声学表示,确立了 SSL 骨干网络在 SER 中的标准地位。这一阶段的方法主要聚焦于如何微调这些预训练编码器以适配情感任务,放弃了手工特征的可解释性,换取了特征提取的鲁棒性。然而,SSL 模型仍局限于纯声学信号,无法捕捉依赖语言内容的情感线索,如讽刺或幽默,这为后续多模态方法的引入埋下了伏笔。

2021 至 2023 年,跨域基准的兴起暴露了 SSL 模型在分布偏移下的脆弱性。WavLM 等模型虽然提升了噪声鲁棒性,但在未见数据集上的性能依然显著下降。与此同时,大型音频语言模型(ALM)如 SALMONN 和 Qwen2-Audio 的出现,标志着 SER 从分类任务向生成式推理任务的转型。ALM 利用 LLM 的语义理解能力,实现了零样本预测和可解释性生成,但引入了过度自信和计算成本高昂的新问题。这一转折使得研究重心从“特征提取精度”转移至“语义接地与推理可靠性”。

2024 至 2026 年,研究重心进一步细化为解决标注主观性、跨域鲁棒性及边缘部署效率。Emo-RL 和 ADEPT 等方法通过引入强化学习和代理工具,增强了模型对模糊情感的推理能力;Distilled HuBERT 和 PTS-SNN 则通过知识蒸馏和脉冲神经网络,探索在资源受限设备上的高效部署。当前形态呈现出“骨干网络标准化”与“推理头多元化”并存的格局,SSL 模型作为事实上的特征提取标准,而竞争焦点转移至如何利用这些特征进行可信、高效的情感推断。

如果用一个核心问题概括该领域,那便是:如何在情感感知固有的主观性与声学信号的物理噪声之间,构建一种既能捕捉语义语境又能保持计算高效的可信推断机制。

2. 方法体系

  • 2018:Wav2Vec 2.0——基于对比学习的自监督语音表示学习框架

  • 2021:HuBERT——采用离线聚类生成伪标签进行自监督预训练的语音模型

  • 2022:WavLM——结合监督与自监督目标的语音预训练模型

  • 2023:SALMONN——多模态大语言模型,开启生成式推理探索

  • 2024:Qwen2-Audio——高性能音频语言模型,推动 ALM 应用

  • 2025:Emo-RL——基于情感规则强化学习的 ALM 增强框架

  • 2026:ADEPT——基于代理解码的情感推理框架

  • 2026:ZS-Fuse——提示放大与零样本晚期融合方法

这条时间线勾勒了该领域方法演进的代表性节点:从 2018 年的 Wav2Vec 2.0 奠定该领域方法基线,经 2021 年 HuBERT 的推进,到 2026 年的 ZS-Fuse 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 自监督骨干与分类头优化

自监督学习(SSL)模型的兴起解决了手工特征泛化能力不足的问题,成为当前 SER 的主流骨干网络。Wav2Vec 2.0 和 HuBERT 通过大规模无标签数据预训练,学习到了通用的声学表示,显著提升了特征提取的鲁棒性。在此基础上,研究者主要探索如何优化分类头以适配情感任务。例如,Crab(Ueda et al., 2026, P23)提出多层对比监督方法,通过引导多层表示进行对比学习,生成信息丰富的中间表示,缓解了类别不平衡和自然语音中的识别困难。该方法放弃了单一层级的特征提取,换取了中间表示的质量提升,从而增强了最终分类器的鲁棒性。与纯声学模型相比,Crab 更依赖于 WavLM 和 RoBERTa 的双模态架构,其成功假设了多层表示中存在可对比的情感判别性信息。

在跨域鲁棒性方面,EDRL-MEA(Tiwari et al., 2025, P8)提出情感解耦嵌入对齐方法,通过类内和类间编码器分离情感特异性特征与共享特征,结合正则化约束提升模型在噪声和跨语料条件下的鲁棒性。这一方法针对传统模型在分布偏移下性能下降的问题,放弃了特征的单一性,换取了对跨语料和噪声条件泛化有用的通用模式保留。与 Crab 相比,EDRL-MEA 更侧重于特征解耦,其成功依赖于情感特征与共享特征在嵌入空间中的可分离性假设。

2.2 大型音频语言模型与生成式推理

随着 ALM 的引入,SER 范式从单纯的声学分类转向多模态生成式推理。SALMONN 和 Qwen2-Audio 展示了大模型在音频指令跟随和零样本情感预测中的潜力,开启了 SER 从分类任务向生成式推理任务转型的探索。然而,ALM 存在过度自信和幻觉问题,难以在边缘设备部署。为此,Emo-RL(Li et al., 2025, P5)提出基于情感规则的强化学习增强框架,通过设计细粒度的情感规则奖励机制,替代传统的二元胜负奖励,使模型能够学习更细腻的情感推理过程。该方法解决了 ALM 在情感标签硬决策中的学习困难,放弃了简单的二元奖励,换取了模型在泛化 SER 任务中的推理准确性和稳定性。

ADEPT(Sun et al., 2026, P19)进一步提出代理解码情感通过证据探针工具的框架,将多模态大语言模型转化为多轮推理代理。该框架包含候选生成、证据收集和裁决三个阶段的流水线,通过自适应调用语义和声学探针工具来解决情感歧义。ADEPT 严格分离证据与解释,工具将原始信号测量转化为标准化观察,作为代理推理的唯一依据,防止幻觉并确保证据可审计。这种方法特别适用于标注者存在分歧的高风险场景,如心理健康筛查,提升了 SER 系统的透明度和可信度。与 Emo-RL 相比,ADEPT 更侧重于推理过程的可审计性,其成功依赖于证据探针工具对原始信号测量的准确性。

2.3 多模态融合与生理特征

多模态融合旨在通过引入文本(ASR)或生理信号弥补纯声学模型的语义缺失。AdaLTM(Lee et al., 2026, P24)提出自适应层级任务向量合并框架,通过提取 ASR 和 SER 任务特定的知识向量并自适应融合到预训练骨干中,实现了声学-文本知识的深层交互。该方法解决了输出级融合对 ASR 错误敏感的问题,放弃了简单的输出级拼接,换取了声学-文本知识的深层交互,提升了 SER 在低资源数据下的鲁棒性。

PhysioSER(Zhang et al., 2026, P20)则引入生理信息,通过幅度-相位分解提取生理启发的语音特征,并与 SSL 潜在表示对齐融合。这种方法增强了 SER 对发声机制和情绪生理基础的捕捉能力,提供了超越纯声学特征的生理线索。与 AdaLTM 相比,PhysioSER 更侧重于生理维度的引入,其成功依赖于生理特征与情感状态之间的强相关性假设。

2.4 高效轻量化与边缘部署

针对 ALM 参数量巨大、难以在移动端或边缘设备实时运行的问题,轻量化部署成为研究热点。Distilled HuBERT(Ismail, 2025, P13)提出面向移动设备的蒸馏 HuBERT 模型,通过知识蒸馏将大型自监督模型的知识转移到轻量级 Transformer 架构中,并结合跨语料验证策略提升鲁棒性。该方法放弃了全参数微调的高精度,换取了模型大小和计算成本的降低,实现了在资源受限设备上保持高精度情感识别的平衡。

PTS-SNN(Su et al., 2026, P18)提出提示调优的时间移位脉冲神经网络,利用 PLIF 神经元和稀疏事件驱动计算,在保持情感识别精度的同时大幅降低能耗。该方法结合了 SSL 的强大表示能力和 SNN 的高效计算特性,为 SER 提供了低功耗的替代方案。与 Distilled HuBERT 相比,PTS-SNN 更侧重于计算效率,其成功依赖于 SNN 对时间依赖关系的自适应建模能力。

2.5 数据与标注范式

数据与标注范式的革新旨在通过更真实的数据表示提升模型对情感模糊性的捕捉能力。MSP-Podcast(Busso et al., 2025, P2)提出大规模自然对话情感语料库,通过多标注者协议和严格的质量过滤,提供了包含主观性和模糊性的高保真情感标签。该语料库为研究情感分布建模和标注不确定性提供了关键数据资源,推动了 SER 从受控环境向真实场景的扩展。

Scaling Ambiguity(Zhang et al., 2026, P14)提出利用音频语言模型增强人类标注的框架,通过生成合成感知代理来扩充稀疏的人类标注,提高了情感分布标签的可靠性。该方法缓解了因标注者数量少导致的情感分布失真问题,放弃了单一人类标注的局限性,换取了更真实、更丰富的情感分布标签。与 MSP-Podcast 相比,Scaling Ambiguity 更侧重于标注增强,其成功依赖于 ALM 生成合成标注与人类分布的对齐程度。

3. 关键共识、分歧与开放问题

3.1 领域共识

自监督预训练模型提取的声学特征显著优于传统手工特征,是提升 SER 性能的关键。这一共识在多个基准上被反复验证:WavLM-Large 在 IEMOCAP 上的 70.51% UAR 和 RAVDESS 上的 84.38% UAR 均大幅超越手工特征基线。然而,该共识的边界在于 SSL 特征可能包含与情感无关的说话人身份信息,导致跨域泛化能力受限。

与此相关的另一个共识是情感识别不应仅依赖单一离散标签,而应考虑标注者间的主观差异和歧义性。MSP-Podcast 等自然语料库显示,标注者间存在显著分歧,分布建模能更好地捕捉这种模糊性。Scaling Ambiguity 和 Entropy-Aware Curriculum 等方法通过引入分布标签和课程学习,提升了模型在主观性标注数据上的建模能力。

3.2 观点分歧

ALM 生成式推理与轻量级 SSL 分类头孰优孰劣,是领域内的核心争议。ALM 派认为 ALM 具备语义理解和零样本能力,能处理情感的主观性和语境依赖,是 SER 的未来方向;轻量级派则认为在受控基准上,精心设计的 SSL 分类头性能不输 ALM,且计算效率远高于 ALM,更适合实际部署。现有证据偏向轻量级派在效率上,ALM 派在零样本和可解释性上。在 IEMOCAP 等受控基准上,轻量级模型(如 HyPASE 75.00% WA)与 ALM(如 EMO-RL 72.54% UAR)性能接近,但 ALM 在 MSP-Podcast 等自然数据上的零样本表现更优。证据强度中等,因为缺乏统一的零样本和可解释性评测基准。

这一分歧的背后,是另一个更根本的争论:硬标签分类与分布标签建模如何量化情感歧义。硬标签派认为单一离散标签是 SER 的标准范式,便于评测和部署;分布标签派则认为情感感知具有主观性,单一标签掩盖了真实分布,应采用概率分布或软标签建模。现有证据偏向分布标签派在理论合理性上,硬标签派在工程实用性上。MSP-Podcast 等自然语料库显示,标注者间存在显著分歧,分布建模能更好地捕捉这种模糊性。但缺乏统一的分布评测指标,导致不同方法的分布预测能力难以公平比较。

3.3 其他开放问题

最紧迫的工程问题是边缘部署与噪声鲁棒性。SER 模型在移动端和边缘设备上的实时运行需求,迫使研究者探索知识蒸馏、脉冲神经网络等轻量化技术。Distilled HuBERT 和 PTS-SNN 等方法在保持精度的同时大幅降低了模型大小和计算成本,但缺乏统一的效率评测标准。噪声环境下的鲁棒性缺失也是实际部署的主要瓶颈,EDRL-MEA 和 Test-Time Adaptation 等方法通过特征解耦和在线适应策略提升了模型在噪声和跨语料条件下的鲁棒性,但尚未形成标准范式。

最根本的研究问题是情感动态追踪与主观性本质。孤立语句的情感识别无法捕捉对话中情感的演变与上下文依赖,当前尝试引入记忆机制(如 Titans memory)或时间连续建模来处理长序列情感动态。然而,缺乏标准范式,需要新的理论工具。情感歧义的数学建模也是开放问题,分布标签的优化目标尚未明确,JS Divergence 等分布相似度指标尚未成为标准。

已知—争议—未知认知图谱:已知 SSL 骨干的优越性和多模态融合的必要性;争议 ALM 与轻量级分类头的适用场景、硬标签与分布标签的量化标准;未知情感动态追踪的理论框架、主观性本质的数学建模。发展趋势将从追求单一标签准确率转向解决标注主观性、跨域泛化、噪声鲁棒性以及模型的可解释性与轻量化部署,形成以 SSL 为骨干、ALM 为推理头、轻量化/解释性模块为辅助的混合技术体系。

4. 总结与展望

SER 的核心矛盾已从“特征提取精度”转移至“情感歧义处理与部署可行性”。早期研究通过手工特征与经典分类器解决了受控环境下的基础识别问题,但无法应对自然对话中的主观性与噪声。SSL 模型的兴起解决了特征泛化瓶颈,ALM 的引入解决了语义接地问题,但引入了过度自信与计算成本的新挑战。当前 SOTA 并非单一模型,而是由 SSL 骨干、ALM 推理头及轻量化/解释性模块组成的混合系统,核心瓶颈在于如何在认知深度与物理约束之间找到新的平衡点。

未来可能突破的方向包括:利用 ALM 进行自动标注以解决数据瓶颈,结合生理信号构建多模态情感表征,以及开发可审计的代理推理框架。这些方向需 ≥2 篇论文共同指向,如 Scaling Ambiguity 和 MSP-Podcast 共同指向数据增强,PhysioSER 和 AdaLTM 共同指向多模态融合,ADEPT 和 Emo-RL 共同指向可审计推理。对进入者最值得做的一件事,是在统一骨干与统一预训练条件下,建立能真实反映人类情感感知复杂性的评测体系,以隔离方法本身的贡献,推动 SER 从实验室走向实际应用。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9115 24
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2700 14
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1290 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11133 59
|
3天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
945 0
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1322 1
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。