导读
语音情感识别(Speech Emotion Recognition, SER)旨在从语音信号中推断说话人的情感状态,其核心价值在于将主观的听觉感知转化为可计算的机器决策。早期研究依赖手工声学特征与经典分类器,思路简洁却受制于特征泛化能力不足与标注主观性未建模的瓶颈。当自监督学习(SSL)模型兴起后,研究者转向大规模无标签数据预训练,用更强的通用声学表示换取跨语料鲁棒性。随着大型音频语言模型(ALM)的引入,SER范式从单纯的声学分类转向多模态生成式推理,利用语义理解能力处理情感的歧义性。各路线在表示质量、推理深度与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何度量到语义先验的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
语音情感识别的核心挑战在于情感并非语音信号的固有物理属性,而是说话者意图与听者感知交互的产物。早期研究假设情感具有稳定且可量化的声学对应物,试图通过提取梅尔频率倒谱系数(MFCC)、基频等手工特征,结合支持向量机(SVM)或隐马尔可夫模型(HMM)进行离散分类。这一范式在受控表演数据上表现尚可,但在自然对话场景中迅速失效,因为真实情感表达往往伴随噪声、语境依赖以及标注者间的主观分歧。问题形式化通常定义为 N-way K-shot 分类任务,即给定少量标注样本,模型需预测未见类别的情感标签,但在实际部署中,更关键的是如何在分布偏移下保持推断的稳定性与可信度。
随着数据规模的扩大,问题定义开始从“客观声学分类”向“主观感知建模”演化。IEMOCAP 等早期基准采用单一多数投票标签,掩盖了标注者间的真实差异;而 MSP-Podcast 等新一代语料库引入了多标注者协议和维度评分,迫使模型从确定性分类转向概率分布预测。这种转变揭示了子问题间的深层依赖:跨域泛化失败的根本原因之一,正是标注主观性未被建模,导致模型过拟合源域特定的标注偏差。若不解决情感歧义的分布建模,任何跨域适应策略都难以触及性能上限。
2018 至 2020 年间,自监督学习(SSL)的突破改变了特征提取的范式。Wav2Vec 2.0 和 HuBERT 通过大规模无标签数据预训练,学习到了比手工特征更具泛化能力的通用声学表示,确立了 SSL 骨干网络在 SER 中的标准地位。这一阶段的方法主要聚焦于如何微调这些预训练编码器以适配情感任务,放弃了手工特征的可解释性,换取了特征提取的鲁棒性。然而,SSL 模型仍局限于纯声学信号,无法捕捉依赖语言内容的情感线索,如讽刺或幽默,这为后续多模态方法的引入埋下了伏笔。
2021 至 2023 年,跨域基准的兴起暴露了 SSL 模型在分布偏移下的脆弱性。WavLM 等模型虽然提升了噪声鲁棒性,但在未见数据集上的性能依然显著下降。与此同时,大型音频语言模型(ALM)如 SALMONN 和 Qwen2-Audio 的出现,标志着 SER 从分类任务向生成式推理任务的转型。ALM 利用 LLM 的语义理解能力,实现了零样本预测和可解释性生成,但引入了过度自信和计算成本高昂的新问题。这一转折使得研究重心从“特征提取精度”转移至“语义接地与推理可靠性”。
2024 至 2026 年,研究重心进一步细化为解决标注主观性、跨域鲁棒性及边缘部署效率。Emo-RL 和 ADEPT 等方法通过引入强化学习和代理工具,增强了模型对模糊情感的推理能力;Distilled HuBERT 和 PTS-SNN 则通过知识蒸馏和脉冲神经网络,探索在资源受限设备上的高效部署。当前形态呈现出“骨干网络标准化”与“推理头多元化”并存的格局,SSL 模型作为事实上的特征提取标准,而竞争焦点转移至如何利用这些特征进行可信、高效的情感推断。
如果用一个核心问题概括该领域,那便是:如何在情感感知固有的主观性与声学信号的物理噪声之间,构建一种既能捕捉语义语境又能保持计算高效的可信推断机制。
2. 方法体系
2018:Wav2Vec 2.0——基于对比学习的自监督语音表示学习框架
2021:HuBERT——采用离线聚类生成伪标签进行自监督预训练的语音模型
2022:WavLM——结合监督与自监督目标的语音预训练模型
2023:SALMONN——多模态大语言模型,开启生成式推理探索
2024:Qwen2-Audio——高性能音频语言模型,推动 ALM 应用
2025:Emo-RL——基于情感规则强化学习的 ALM 增强框架
2026:ADEPT——基于代理解码的情感推理框架
2026:ZS-Fuse——提示放大与零样本晚期融合方法
这条时间线勾勒了该领域方法演进的代表性节点:从 2018 年的 Wav2Vec 2.0 奠定该领域方法基线,经 2021 年 HuBERT 的推进,到 2026 年的 ZS-Fuse 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 自监督骨干与分类头优化
自监督学习(SSL)模型的兴起解决了手工特征泛化能力不足的问题,成为当前 SER 的主流骨干网络。Wav2Vec 2.0 和 HuBERT 通过大规模无标签数据预训练,学习到了通用的声学表示,显著提升了特征提取的鲁棒性。在此基础上,研究者主要探索如何优化分类头以适配情感任务。例如,Crab(Ueda et al., 2026, P23)提出多层对比监督方法,通过引导多层表示进行对比学习,生成信息丰富的中间表示,缓解了类别不平衡和自然语音中的识别困难。该方法放弃了单一层级的特征提取,换取了中间表示的质量提升,从而增强了最终分类器的鲁棒性。与纯声学模型相比,Crab 更依赖于 WavLM 和 RoBERTa 的双模态架构,其成功假设了多层表示中存在可对比的情感判别性信息。
在跨域鲁棒性方面,EDRL-MEA(Tiwari et al., 2025, P8)提出情感解耦嵌入对齐方法,通过类内和类间编码器分离情感特异性特征与共享特征,结合正则化约束提升模型在噪声和跨语料条件下的鲁棒性。这一方法针对传统模型在分布偏移下性能下降的问题,放弃了特征的单一性,换取了对跨语料和噪声条件泛化有用的通用模式保留。与 Crab 相比,EDRL-MEA 更侧重于特征解耦,其成功依赖于情感特征与共享特征在嵌入空间中的可分离性假设。
2.2 大型音频语言模型与生成式推理
随着 ALM 的引入,SER 范式从单纯的声学分类转向多模态生成式推理。SALMONN 和 Qwen2-Audio 展示了大模型在音频指令跟随和零样本情感预测中的潜力,开启了 SER 从分类任务向生成式推理任务转型的探索。然而,ALM 存在过度自信和幻觉问题,难以在边缘设备部署。为此,Emo-RL(Li et al., 2025, P5)提出基于情感规则的强化学习增强框架,通过设计细粒度的情感规则奖励机制,替代传统的二元胜负奖励,使模型能够学习更细腻的情感推理过程。该方法解决了 ALM 在情感标签硬决策中的学习困难,放弃了简单的二元奖励,换取了模型在泛化 SER 任务中的推理准确性和稳定性。
ADEPT(Sun et al., 2026, P19)进一步提出代理解码情感通过证据探针工具的框架,将多模态大语言模型转化为多轮推理代理。该框架包含候选生成、证据收集和裁决三个阶段的流水线,通过自适应调用语义和声学探针工具来解决情感歧义。ADEPT 严格分离证据与解释,工具将原始信号测量转化为标准化观察,作为代理推理的唯一依据,防止幻觉并确保证据可审计。这种方法特别适用于标注者存在分歧的高风险场景,如心理健康筛查,提升了 SER 系统的透明度和可信度。与 Emo-RL 相比,ADEPT 更侧重于推理过程的可审计性,其成功依赖于证据探针工具对原始信号测量的准确性。
2.3 多模态融合与生理特征
多模态融合旨在通过引入文本(ASR)或生理信号弥补纯声学模型的语义缺失。AdaLTM(Lee et al., 2026, P24)提出自适应层级任务向量合并框架,通过提取 ASR 和 SER 任务特定的知识向量并自适应融合到预训练骨干中,实现了声学-文本知识的深层交互。该方法解决了输出级融合对 ASR 错误敏感的问题,放弃了简单的输出级拼接,换取了声学-文本知识的深层交互,提升了 SER 在低资源数据下的鲁棒性。
PhysioSER(Zhang et al., 2026, P20)则引入生理信息,通过幅度-相位分解提取生理启发的语音特征,并与 SSL 潜在表示对齐融合。这种方法增强了 SER 对发声机制和情绪生理基础的捕捉能力,提供了超越纯声学特征的生理线索。与 AdaLTM 相比,PhysioSER 更侧重于生理维度的引入,其成功依赖于生理特征与情感状态之间的强相关性假设。
2.4 高效轻量化与边缘部署
针对 ALM 参数量巨大、难以在移动端或边缘设备实时运行的问题,轻量化部署成为研究热点。Distilled HuBERT(Ismail, 2025, P13)提出面向移动设备的蒸馏 HuBERT 模型,通过知识蒸馏将大型自监督模型的知识转移到轻量级 Transformer 架构中,并结合跨语料验证策略提升鲁棒性。该方法放弃了全参数微调的高精度,换取了模型大小和计算成本的降低,实现了在资源受限设备上保持高精度情感识别的平衡。
PTS-SNN(Su et al., 2026, P18)提出提示调优的时间移位脉冲神经网络,利用 PLIF 神经元和稀疏事件驱动计算,在保持情感识别精度的同时大幅降低能耗。该方法结合了 SSL 的强大表示能力和 SNN 的高效计算特性,为 SER 提供了低功耗的替代方案。与 Distilled HuBERT 相比,PTS-SNN 更侧重于计算效率,其成功依赖于 SNN 对时间依赖关系的自适应建模能力。
2.5 数据与标注范式
数据与标注范式的革新旨在通过更真实的数据表示提升模型对情感模糊性的捕捉能力。MSP-Podcast(Busso et al., 2025, P2)提出大规模自然对话情感语料库,通过多标注者协议和严格的质量过滤,提供了包含主观性和模糊性的高保真情感标签。该语料库为研究情感分布建模和标注不确定性提供了关键数据资源,推动了 SER 从受控环境向真实场景的扩展。
Scaling Ambiguity(Zhang et al., 2026, P14)提出利用音频语言模型增强人类标注的框架,通过生成合成感知代理来扩充稀疏的人类标注,提高了情感分布标签的可靠性。该方法缓解了因标注者数量少导致的情感分布失真问题,放弃了单一人类标注的局限性,换取了更真实、更丰富的情感分布标签。与 MSP-Podcast 相比,Scaling Ambiguity 更侧重于标注增强,其成功依赖于 ALM 生成合成标注与人类分布的对齐程度。
3. 关键共识、分歧与开放问题
3.1 领域共识
自监督预训练模型提取的声学特征显著优于传统手工特征,是提升 SER 性能的关键。这一共识在多个基准上被反复验证:WavLM-Large 在 IEMOCAP 上的 70.51% UAR 和 RAVDESS 上的 84.38% UAR 均大幅超越手工特征基线。然而,该共识的边界在于 SSL 特征可能包含与情感无关的说话人身份信息,导致跨域泛化能力受限。
与此相关的另一个共识是情感识别不应仅依赖单一离散标签,而应考虑标注者间的主观差异和歧义性。MSP-Podcast 等自然语料库显示,标注者间存在显著分歧,分布建模能更好地捕捉这种模糊性。Scaling Ambiguity 和 Entropy-Aware Curriculum 等方法通过引入分布标签和课程学习,提升了模型在主观性标注数据上的建模能力。
3.2 观点分歧
ALM 生成式推理与轻量级 SSL 分类头孰优孰劣,是领域内的核心争议。ALM 派认为 ALM 具备语义理解和零样本能力,能处理情感的主观性和语境依赖,是 SER 的未来方向;轻量级派则认为在受控基准上,精心设计的 SSL 分类头性能不输 ALM,且计算效率远高于 ALM,更适合实际部署。现有证据偏向轻量级派在效率上,ALM 派在零样本和可解释性上。在 IEMOCAP 等受控基准上,轻量级模型(如 HyPASE 75.00% WA)与 ALM(如 EMO-RL 72.54% UAR)性能接近,但 ALM 在 MSP-Podcast 等自然数据上的零样本表现更优。证据强度中等,因为缺乏统一的零样本和可解释性评测基准。
这一分歧的背后,是另一个更根本的争论:硬标签分类与分布标签建模如何量化情感歧义。硬标签派认为单一离散标签是 SER 的标准范式,便于评测和部署;分布标签派则认为情感感知具有主观性,单一标签掩盖了真实分布,应采用概率分布或软标签建模。现有证据偏向分布标签派在理论合理性上,硬标签派在工程实用性上。MSP-Podcast 等自然语料库显示,标注者间存在显著分歧,分布建模能更好地捕捉这种模糊性。但缺乏统一的分布评测指标,导致不同方法的分布预测能力难以公平比较。
3.3 其他开放问题
最紧迫的工程问题是边缘部署与噪声鲁棒性。SER 模型在移动端和边缘设备上的实时运行需求,迫使研究者探索知识蒸馏、脉冲神经网络等轻量化技术。Distilled HuBERT 和 PTS-SNN 等方法在保持精度的同时大幅降低了模型大小和计算成本,但缺乏统一的效率评测标准。噪声环境下的鲁棒性缺失也是实际部署的主要瓶颈,EDRL-MEA 和 Test-Time Adaptation 等方法通过特征解耦和在线适应策略提升了模型在噪声和跨语料条件下的鲁棒性,但尚未形成标准范式。
最根本的研究问题是情感动态追踪与主观性本质。孤立语句的情感识别无法捕捉对话中情感的演变与上下文依赖,当前尝试引入记忆机制(如 Titans memory)或时间连续建模来处理长序列情感动态。然而,缺乏标准范式,需要新的理论工具。情感歧义的数学建模也是开放问题,分布标签的优化目标尚未明确,JS Divergence 等分布相似度指标尚未成为标准。
已知—争议—未知认知图谱:已知 SSL 骨干的优越性和多模态融合的必要性;争议 ALM 与轻量级分类头的适用场景、硬标签与分布标签的量化标准;未知情感动态追踪的理论框架、主观性本质的数学建模。发展趋势将从追求单一标签准确率转向解决标注主观性、跨域泛化、噪声鲁棒性以及模型的可解释性与轻量化部署,形成以 SSL 为骨干、ALM 为推理头、轻量化/解释性模块为辅助的混合技术体系。
4. 总结与展望
SER 的核心矛盾已从“特征提取精度”转移至“情感歧义处理与部署可行性”。早期研究通过手工特征与经典分类器解决了受控环境下的基础识别问题,但无法应对自然对话中的主观性与噪声。SSL 模型的兴起解决了特征泛化瓶颈,ALM 的引入解决了语义接地问题,但引入了过度自信与计算成本的新挑战。当前 SOTA 并非单一模型,而是由 SSL 骨干、ALM 推理头及轻量化/解释性模块组成的混合系统,核心瓶颈在于如何在认知深度与物理约束之间找到新的平衡点。
未来可能突破的方向包括:利用 ALM 进行自动标注以解决数据瓶颈,结合生理信号构建多模态情感表征,以及开发可审计的代理推理框架。这些方向需 ≥2 篇论文共同指向,如 Scaling Ambiguity 和 MSP-Podcast 共同指向数据增强,PhysioSER 和 AdaLTM 共同指向多模态融合,ADEPT 和 Emo-RL 共同指向可审计推理。对进入者最值得做的一件事,是在统一骨干与统一预训练条件下,建立能真实反映人类情感感知复杂性的评测体系,以隔离方法本身的贡献,推动 SER 从实验室走向实际应用。
以上为节选,完整内容见ArxivReview