导读
说话人验证(Speaker Verification, SV)旨在通过语音信号自动判定说话人身份,其核心价值在于解决智能设备、安全认证及人机交互中对身份鉴权的高精度与高鲁棒性需求。早期研究依赖统计模型,随后深度神经网络(DNN)的引入标志着范式转变,x-vector 和 ECAPA-TDNN 等架构通过端到端学习显著提升了嵌入特征的判别力。2020 年后,领域进入“鲁棒性与规模化”阶段,关键转折在于自监督学习(SSL)基础模型的兴起,这些模型在海量无标注数据上预训练,为下游 SV 任务提供了强大的通用声学表征,解决了标注数据稀缺问题。然而,真实场景中的背景噪声、混响、语言不匹配及短语音片段仍导致性能显著下降,构成了当前的主要研究重心。2024-2026 年间,研究热点从单纯的嵌入提取转向多模态融合、语言不变性解耦、不确定性估计以及基于大语言模型(LLM)的推理验证。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何度量到语义先验的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
说话人验证的核心任务是将变长语音映射为固定维度的说话人嵌入(Speaker Embedding),并通过计算嵌入间的相似度来判定身份。在理想声学条件下,该问题可形式化为:给定注册语音 $X{enr}$ 和测试语音 $X{test}$,系统需输出一个分数 $s$,使得当 $s$ 超过阈值 $\tau$ 时判定为同一说话人。早期的研究聚焦于“判别力最大化”,即如何在干净语音下最小化等错误率(Equal Error Rate, EER)。这一阶段的核心假设是语音信号平稳且信道一致,统计模型如 GMM-UBM 和 i-vector 通过总变异性矩阵将说话人和信道依赖性映射到低维潜空间,确立了统计建模的主导地位。然而,随着应用场景从实验室走向真实世界,背景噪声、混响及信道失真导致嵌入空间分布发生偏移,传统模型在噪声环境下的性能急剧下降,暴露出其在非平稳声学条件下的脆弱性。
问题的定义随之演化,从单一的“能否识别”转变为“在何种条件下能稳定识别”。2018 年 x-vector 的提出实现了从统计模型到深度判别模型的转变,利用深度神经网络提取帧级嵌入并通过统计池化层聚合,显著提升了噪声鲁棒性。但深度模型的黑盒特性引入了新的问题:嵌入空间中往往纠缠了说话人身份与语言、情感、性别等无关属性。这种纠缠导致跨语言验证性能显著下降,因为模型可能将特定语言的音素或韵律特征误认为身份特征。因此,子问题之间形成了严格的依赖关系:鲁棒性是基础约束,解耦是提升泛化的关键手段,而可解释性与效率则是部署层面的最终约束。若不解决嵌入中的属性纠缠,跨语言鲁棒性无法实现;若不解决噪声下的表征偏移,可解释性分析将失去物理意义。
2020 年至 2022 年是领域的基础设施重构期。自监督学习(Self-Supervised Learning, SSL)基础模型如 WavLM 和 w2v-BERT 的兴起,通过掩码预测等任务在海量无标注数据上预训练,提供了富含语言与说话人信息的通用语音表征。这一转折解决了标注数据稀缺问题,并打破了单语言训练的局限,为跨语言验证提供了强大的预训练基础。此时,问题已转变为如何在预训练模型的通用表征上,通过轻量级适配或微调,提取出纯净且鲁棒的说话人嵌入。2023 年至 2024 年,评测体系开始标准化,VoxCeleb 系列确立了标准协议,而 SVeritas 等新兴基准引入了噪声、攻击及公平性维度,揭示了传统模型在极端条件下的脆弱性。
2025 年至 2026 年,研究进入精细化与多元化阶段。针对噪声,研究从全局统一表征转向噪声条件路由(如 MoE)与锚点正则;针对跨语言,引入对抗解耦和语言感知原型训练;针对部署,探索 MLP 替代 Transformer 及结构化剪枝;针对可解释性,引入 LLM 进行证据驱动推理。这一时期的核心矛盾不再是单纯的 EER 降低,而是在噪声、跨语言、短语音及偏见存在下,如何保持决策的稳定性、公平性与透明度。当前领域活跃度极高,形成了以预训练-微调为主流,结合对抗解耦、知识蒸馏及混合专家机制的多元化研究格局。
如果用一个核心问题概括该领域,那便是:在非平稳声学环境与异构语言分布下,如何构建兼具判别力、不变性(对无关属性)及可解释性的说话人嵌入空间,并实现高效部署。
2. 方法体系
2010:i-vector——基于GMM-UBM框架,通过总变异性矩阵将说话人和信道依赖性映射到低维潜空间,确立统计建模基线。
2018:x-vector——利用深度神经网络提取帧级说话人嵌入,实现从统计模型到深度判别模型的转变。
2020:ECAPA-TDNN——引入多尺度卷积与通道注意力,兼顾计算效率与表征质量,成为工业界标准骨干。
2021:w2v-BERT——结合对比学习与掩码预测,在大规模多语言数据上预训练,提供通用语音表征。
2022:WavLM——通过联合优化对比学习与掩码重建,学习对噪声和信道变化具有鲁棒性的自监督表征。
2025:Stage-Wise Fixed Anchors——提出两阶段学习策略,通过固定锚点分支增强噪声鲁棒性,解决鲁棒性与判别性权衡。
2026:Noise-Conditioned MoE——提出噪声条件混合专家框架,根据输入噪声特征动态路由,代表鲁棒验证向自适应路由演进。
2026:SpeakerLLM——构建说话人专用音频大语言模型,实现基于证据的验证推理,拓展交互与理解能力。
这条时间线勾勒了该领域方法演进的代表性节点:从 2010 年的 i-vector 奠定该领域方法基线,经 2018 年 x-vector 的推进,到 2026 年的 UNet-Based Fusion & EMA 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 鲁棒表征学习
鲁棒表征学习旨在解决噪声、短语音及环境干扰下的性能退化问题。早期方法如 x-vector 虽然提升了噪声鲁棒性,但在非平稳噪声下仍存在性能瓶颈。2025 年,Gu et al. 提出了 Stage-Wise Fixed Anchors(P9),该方法采用两阶段学习策略:第一阶段训练具有强判别力的特征提取器,第二阶段复制该提取器为固定锚点分支与可训练分支,通过最小化两者在噪声条件下的嵌入散度,迫使可训练分支保持与干净条件一致的表征结构。这一策略以训练复杂度增加为代价,换取了噪声环境下判别边界的稳定性,有效解决了鲁棒性与判别性之间的固有冲突。
针对多样化噪声类型,Gu et al. 进一步提出了 Noise-Conditioned Mixture-of-Experts(P10),将统一的特征空间分解为多个噪声感知的专业化子空间。通过噪声条件专家路由机制,根据输入信号的噪声特征动态分配至不同的专家网络,并引入 SNR 衰减课程学习。该方法放弃了单一模型的全局统一性,换取了对特定噪声类型的细粒度适应能力,代表了鲁棒验证从全局统一表征向局部自适应路由的技术演进。此外,Gan et al. 提出的 UNet-Based Fusion & EMA(P28)则从前端增强角度出发,融合多个预训练语音增强模型输出,利用 UNet 模块缓解增强伪影,并通过指数移动平均动态优化编码器。这种方法在平衡增强质量与信息保留方面做出了取舍,避免了过度去噪导致的身份失真。
在短语音场景下,Myoung et al. 提出的 Short-Segment SV with PTM & MRE(P4)结合预训练模型特征与多分辨率时域编码器,利用不同窗口大小的卷积提取多尺度时间信息,弥补了预训练模型时间分辨率较低的缺陷。该方法以推理延迟增加为代价,换取了短片段下信息提取效率的提升。Li et al. 提出的 Xi+(P1)则引入了不确定性估计,通过 Transformer 模块预测精度矩阵,显式建模说话人嵌入的置信度,并在后端评分中引入不确定性感知相似度度量。这一概率化框架增强了系统在不确定声学条件下的决策可靠性,但增加了计算开销。这些方法共同构成了鲁棒表征学习的核心体系,与跨语言解耦路线互补,前者关注环境干扰,后者关注属性纠缠。
2.2 跨语言与多语言验证
跨语言验证的核心挑战在于说话人身份与语言特征的纠缠。2026 年,Shangguan et al. 提出的 Dual-LoRA(P29)采用参数高效的双 LoRA 适配器进行对抗解耦,通过共享判别器同时优化说话人与语言分支,有效移除嵌入中的语言信息。该方法在保持预训练模型泛化性的同时实现了跨语言验证的性能突破,以训练过程的对抗平衡为代价,换取了资源受限场景下的高效适配。Li et al. 提出的 Language-Invariant Multilingual SV(P23)则基于 w2v-BERT 2.0,利用 Layer Adapters 降低特征维度并促进领域适应,通过注意力统计池化聚合多层特征。这种方法依赖预训练模型的语言覆盖范围,但无需大量多语言标注数据即可实现高性能跨语言验证。
Oh et al. 提出的 L-Proto(P34)引入了语言感知的情景原型训练,通过采样同一说话人在不同语言下的语音对,构建情景任务,使模型学习在语言变化下保持说话人原型的稳定性。t-SNE 可视化显示,该方法消除了传统微调中出现的语言特定子簇。Wei et al. 提出的 AMECxSV(P40)则从后端校准角度入手,利用语言匹配度与语音时长等元数据动态调整校准参数,无需重新训练前端即可提升后端决策的鲁棒性。Buitrago and Hernando(P38)利用跨语言转移矩阵(CLTM)量化不同语言训练数据对目标语言验证性能的影响,为多语言数据选择提供了实证依据。Farhadipour et al. 构建的 TidyVoice(P17)数据集则填补了多语言鲁棒验证数据资源的空白,解决了现有基准的英语中心偏见。这些方法在解耦策略上各有侧重,从前端对抗训练到后端元数据校准,共同推动了跨语言验证的发展。
2.3 嵌入空间解耦分析
嵌入空间解耦分析旨在揭示并消除嵌入中隐含的非身份因素,如语言、性别、情感等。Chazaridis et al. 提出的 Koopman Regularized Deep Speech Disentanglement(P22)利用 Koopman 算子约束自动编码器,将语音信号解耦为说话人身份与内容属性。该方法通过多步预测机制捕捉长期依赖,提供了比传统 VAE 更稳定的潜空间结构,以训练复杂度增加为代价,换取了更纯净的说话人表征。Olijslager et al. 提出的 Causally Disentangled Contrastive Learning(P19)结合因果瓶颈与对抗去偏机制,在自监督对比学习中消除性别、年龄等人口属性泄露,为构建无偏见、符合伦理合规的说话人嵌入提供了系统性解决方案。
Fang and He 提出的 Hyperbolic Additive Margin Softmax(P18)将说话人嵌入学习引入双曲空间,利用其负曲率几何特性建模说话人身份间的树状层级结构,克服了欧氏空间在表示复杂层级关系上的局限。Huckvale(P8)通过探针分析研究嵌入维度编码的声学属性,揭示了嵌入空间并非均匀分布,部分维度专门编码特定声学特征。Wang et al.(P13)系统比较了 i-vector、d-vector 与 s-vector 三种嵌入方法所编码的信息类型,发现深度学习方法在捕捉说话人身份的同时,往往编码了更多非身份因素。Lin et al. 提出的 Disentangle Deep Speaker Embeddings(P6)针对说话人聚类中情感风格干扰问题,提出基于 VAE 的解耦框架,将深度说话人嵌入分解为说话人身份与情感风格两个潜变量。Ma et al. 提出的 PhiNet(P26)则通过原型网络机制将嵌入映射至可解释的语音学特征,提升了验证结果的可信度与透明度。这些分析为解耦算法的设计提供了实证依据,与鲁棒表征学习路线相互支撑,前者提供理论指导,后者提供工程实现。
2.4 高效模型架构优化
高效模型架构优化旨在平衡计算资源消耗与验证精度,推动端侧部署。Kim et al. 提出的 Rethinking Leveraging Pre-Trained Multi-Layer Representations(P14)系统评估了预训练模型多层表征的利用策略,提出层适配器方法,通过轻量级线性变换适配各层特征,提升聚合效率。Li et al. 提出的 Enhancing SV with w2v-BERT 2.0 and KD(P7)结合知识蒸馏引导的结构化剪枝,保留对说话人判别贡献最大的神经元,显著降低了计算与内存需求。Heo et al. 提出的 SV-Mixer(P3)用轻量级 MLP 模块替代 Transformer 编码器,通过多尺度混合机制补偿自注意力的缺失,大幅降低了计算复杂度与部署成本,证明了非注意力架构在说话人验证蒸馏任务中的可行性。
Kim et al. 提出的 Triage Knowledge Distillation(P16)将教师后验概率分解为目标、高概率混淆集与低概率背景集,动态调整蒸馏权重,解决了传统 KD 中目标与非目标监督纠缠的问题。Weng et al. 提出的 Effective Modeling of Critical Contextual Information(P2)在 TDNN 架构中引入双向多尺度卷积,增强对长距离依赖的建模能力。Liang et al. 提出的 Text-Independent Speaker Verification Using Discrete Audio Tokens(P39)探索利用离散音频令牌进行验证,降低了连续特征的维度与计算复杂度。Qian et al. 提出的 EgoAdapt(P25)针对第一人称视角交互场景,利用视觉-语音时间关系模块捕捉非语言线索,在模态缺失时通过跨模态注意力机制补偿信息损失。这些方法在架构设计上做出了不同取舍,从 MLP 替代到离散令牌,共同推动了高效说话人验证的发展。
2.5 多模态与LLM融合
多模态与 LLM 融合旨在拓展验证系统的交互与理解能力,提供可解释性。Thebaud et al. 提出的 Speaker Verification with Speech-Aware LLMs(P24)评估了语音感知 LLM 在 SV 中的潜力,通过规则基难对采样策略构建更具挑战性的训练数据。Ren et al. 提出的 Can Audio Large Language Models Verify Speaker Identity?(P5)研究音频 LLM 在 SV 中的适应性,通过监督微调提升零样本性能。Nam et al. 提出的 SpeakerLLM(P31)构建说话人专用音频 LLM,通过冻结说话人编码器与语言模型结合,实现基于证据的验证推理,将验证过程透明化。
Peng et al. 提出的 SpeakerCard-1M(P32)构建了基于证据的说话人卡片语料库,结合自动声学探针提取结构化属性,支持基于自然语言接口的说话人检索与验证。Wei et al. 提出的 Speaker Identity in Non-Verbal Vocalizations(P35)针对非语言发声,提出条件蒸馏与混合专家方法,拓展了 SV 在情感语音领域的应用。Yao et al. 提出的 NeuroLip(P27)基于唇动视频进行视觉说话人识别,克服了音频环境噪声干扰。Simic et al. 提出的 Shared Multi-modal Embedding Space(P11)构建共享多模态嵌入空间,实现面部图像与语音样本的关联验证,防止单模态欺骗。这些方法以推理速度降低为代价,换取了可解释性与多模态互补能力,代表了 SV 系统从后端打分向前端交互的转变。
2.6 基准与资源构建
基准与资源构建为领域研究提供统一评测环境与数据支撑。Rouvier and Bousquet 提出的 Kiwano(P36)开发了模块化、可扩展的开源说话人验证工具包,涵盖数据管理、前端嵌入提取与后端评分校准,降低了研究门槛。Lepage and Dehak 提出的 Self-Supervised Learning for Speaker Recognition(P20)系统综述了 SSL 在说话人识别中的应用,提出 sslsv 工具包支持实验复现。Marmor et al. 提出的 VoxKnesset(P21)构建了大规模纵向希伯来语语音数据集,专门用于研究语音老化对 SV 的影响。Pham et al. 提出的 VieSpeaker(P37)构建了大规模越南语说话人识别数据集,填补了低资源语言的数据空白。SVeritas(P42)构建了涵盖噪声、回声、编解码及对抗攻击的多维鲁棒性基准,并引入人口统计学公平性评估,填补了现有评测在复杂现实条件与公平性分析上的空白。这些基准与工具包为算法迭代与性能提升提供了基础设施,是领域发展的关键支撑。
| 路线 | 核心机制 | 放弃什么(Cost) | 换取什么(Gain) | 适用场景 |
|---|---|---|---|---|
| 鲁棒表征学习 | 锚点正则、MoE 路由、不确定性估计 | 训练复杂度增加、推理延迟略增 | 噪声/短语音下的稳定性、决策可靠性 | 高噪声、短片段、实时认证 |
| 跨语言与多语言验证 | 对抗解耦、原型训练、元数据校准 | 对抗训练不稳定、元数据依赖 | 跨语言泛化能力、部署灵活性 | 多语言环境、异构条件 |
| 嵌入空间解耦分析 | 因果瓶颈、双曲几何、探针分析 | 判别力上限可能降低、计算开销略增 | 嵌入纯净度、公平性、可解释性 | 公平性敏感、高风险场景 |
| 高效模型架构优化 | MLP 替代、结构化剪枝、知识蒸馏 | 长程依赖建模能力减弱 | 计算效率、端侧部署能力 | 边缘设备、低算力场景 |
| 多模态与LLM融合 | LLM 推理、多模态对齐、证据接地 | 推理速度极慢、幻觉风险 | 可解释性、多模态互补、交互能力 | 智能交互、法证分析 |
| 基准与资源构建 | 标准化协议、大规模数据集、开源工具 | 构建成本高昂、数据清洗复杂 | 评测公平性、可复现性、数据支撑 | 算法比较、鲁棒性测试 |
3. 关键共识、分歧与开放问题
3.1 领域共识
领域在“自监督预训练模型显著优于手工特征”这一共识上已形成广泛认同。P7 在 VoxCeleb1-O 上取得的 0.12% EER,以及 P4 在短片段验证中的优异表现,均依赖于 WavLM 或 w2v-BERT 等预训练模型提供的通用声学表征。这些模型在海量无标注数据上学习到的特征,不仅提升了判别力,还增强了跨域泛化能力,解决了标注数据稀缺问题。与此相关的另一个共识是,后端评分校准对优化最终验证性能至关重要。P40 提出的 AMECxSV 通过元数据驱动的分数校准,在不改变前端的情况下提升了跨语言验证的鲁棒性,证明了前端嵌入质量并非唯一决定因素,后端决策边界的优化同样关键。
嵌入中隐含的人口统计学偏见需要被识别和抑制,这一共识在 P19 和 P13 中得到体现。P13 通过探针分析揭示了深度嵌入中语言、性别等属性的泄露,而 P19 则通过因果解耦对比学习消除了这些偏见。这种对公平性的关注,反映了领域从单纯追求精度向“可信 AI”转变的趋势。知识蒸馏和模型压缩也是解决大模型部署效率问题的关键技术路径,P3 和 P7 的工作证明了通过蒸馏和剪枝,可以在保持高精度的同时大幅降低计算开销,推动端侧部署。
3.2 观点分歧
鲁棒性的最佳来源是前端增强、架构自适应还是后端校准,这一分歧在 P28、P10 和 P40 中体现得尤为明显。P28 主张前端增强,通过 UNet 融合语音增强模型去除噪声;P10 主张架构自适应,通过 MoE 路由在特征空间分解噪声子空间;P40 主张后端校准,通过元数据调整分数分布。现有证据显示,P10 的 MoE 架构在非平稳噪声下可能更具优势,但计算开销最大;P28 的前端增强在平稳噪声下有效,但可能引入伪影;P40 的后端校准灵活但依赖元数据准确性。分歧根源在于缺乏统一的、涵盖多种噪声类型与强度的大规模基准测试,不同场景对计算开销的容忍度不同,导致无单一最优解。
LLM 在说话人验证中的角色是验证器还是解释器,也是当前的重要分歧。P24 和 P5 尝试将 LLM 作为验证器,直接输出验证分数或标签,但实验表明 LLM 直接验证的 EER(>20%)远高于专用模型(<1%),证明其作为验证器不可行。相反,P31 的 SpeakerLLM 将 LLM 定位为解释器,生成验证理由和属性描述,辅助人类决策。这一分歧的背后,是 LLM 声学感知能力有限与语义理解能力强大之间的张力。现有证据倾向于将 LLM 定位为辅助工具而非核心引擎,但其在交互式验证场景中的独特价值仍需进一步探索。
3.3 其他开放问题
最紧迫的工程问题是模型部署的效率与精度权衡。尽管 P3 和 P7 提出了高效的架构优化方法,但在边缘设备上实现实时、高精度的说话人验证仍面临挑战。关键困难在于如何在极低的计算预算下保留足够的判别信息,研究路径包括更激进的结构化剪枝、量化技术以及硬件加速。最根本的研究问题是嵌入空间的因果结构与长期老化建模。P22 的 Koopman 正则化和 P19 的因果解耦提供了理论工具,但嵌入中属性的非线性编码机制仍不完全清楚。P21 的 VoxKnesset 数据集为老化建模提供了数据支撑,但如何区分生物性老化与信道漂移,仍是开放问题。
已知的是,预训练-微调范式是主流,解耦和鲁棒性机制是提升泛化的关键;争议的是,鲁棒性的最佳来源及 LLM 的角色定位;未知的是,嵌入空间的深层因果结构及长期身份漂移的建模。未来发展趋势将依赖于对嵌入空间内在结构的深刻理解及跨模态信息的无缝融合,推动说话人验证向更公平、更鲁棒、更可解释的方向发展。
4. 总结与展望
说话人验证领域已从单一的算法竞赛演变为涵盖表征学习、解耦分析、高效部署及多模态融合的系统工程。核心矛盾在于如何在非平稳声学环境与异构语言分布下,构建兼具判别力、不变性及可解释性的说话人嵌入空间。早期研究通过深度网络替代统计模型,解决了判别力问题;随后引入自监督学习,解决了数据稀缺与跨域泛化问题;当前则聚焦于极端条件下的鲁棒性与可解释性。主要瓶颈在于嵌入中属性的非线性纠缠、噪声下的表征偏移以及大模型部署的效率限制。
未来可能突破的方向包括:基于因果图的嵌入解耦,以消除偏见并提升公平性;事件驱动的视觉说话人识别,以拓展多模态感知维度;以及 LLM 驱动的交互式验证,以提供可解释的决策依据。这些方向在 P19、P27 和 P31 中均有体现,且至少有两篇以上论文共同指向。对于进入该领域的研究者,最值得做的一件事是构建统一的、涵盖多种噪声类型、语言组合及计算效率维度的评测基准,以解决当前评测中骨干网络差异导致的比较不公平问题,为算法迭代提供可靠的参照系。
以上为节选,完整内容见ArxivReview