综述原文见 ArxivReview
导读
听者面部反应生成(Listener Facial Reaction Generation, LFRG)旨在模拟人类在双人交互中对说话者信号的非语言响应,其核心挑战在于捕捉反应的随机性、多样性与社会适当性。早期研究将任务简化为确定性信号映射,导致生成的表情僵硬且缺乏真实感,无法反映人类反应的内在随机性。随着“一对多”映射范式的确立,扩散模型与概率生成架构成为主流,通过建模反应分布解决了回归均值问题,但引入了高昂的计算开销。当跨域基准暴露出局部声学驱动的局限后,研究重心转向长程上下文理解与多模态融合,引入大语言模型以增强语义推理能力。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何度量到语义先验的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
LFRG 领域的起源深植于人机交互(Human-Computer Interaction, HCI)对自然双向沟通的需求。早期研究聚焦于确定性的“一对一”映射,即根据说话者的音频或视觉信号生成固定的听者面部反应。这种范式假设听者反应是说话者信号的确定性函数,试图通过回归模型建立从输入信号到面部参数(如 FLAME 系数)的固定映射。然而,这种简化忽略了人类反应的随机性和多样性,导致生成的表情僵硬且缺乏真实感,无法捕捉真实社交互动中的微妙动态。
问题的本质在 2020-2022 年间发生了根本性重构。研究者意识到 LFRG 本质上是“一对多”(One-to-Many)映射问题,同一说话者行为可对应多种合理的面部反应。这一认知推动了从确定性回归向概率生成模型的转变,核心目标从“重建”转向“分布建模”。此时,问题形式化可表述为:给定说话者多模态信号序列 $X_s$ 和上下文 $C$,模型需学习条件概率分布 $P(X_l | X_s, C)$,其中 $X_l$ 为听者面部反应。这一转变确立了“多种适当面部反应”(Multiple Appropriate Facial Reactions, MAFR)作为核心概念,旨在解决确定性模型生成的单一化问题。
子问题之间存在强依赖关系,构成了领域的认知边界。数据资源(双人耦合数据)是基础,缺乏紧密耦合的双人对话数据导致模型难以学习真实的交互因果结构。多模态融合与长程上下文理解是中间层,仅依赖音频信号不足以生成自然反应,需融合视觉、文本等信号以捕捉社交线索。实时性与个性化是应用层约束,若不解决数据稀缺和上下文理解,实时交互和个性化将缺乏语义基础。这种层级依赖决定了方法演进的顺序:先解决分布建模,再解决语境理解,最后优化实时部署。
2016-2018 年的奠基阶段,度量学习与原型网络在少样本学习中确立了嵌入空间范式,为后续面部动作的表示学习提供了技术储备。2020 年前后,跨域基准的引入暴露了域偏移下的原型崩溃问题,促使研究者关注分布鲁棒性。2022 年,Learning to Listen 提出非确定性双人面部运动建模框架,通过引入随机性机制确立了“一对多”映射的理论基础,成为该领域的关键转折点。
2023-2024 年,研究重心从单一面部表情扩展至全身非语言行为及长程上下文。REACT 2023 挑战赛定义了在线实时生成多个适当反应的任务标准,推动了领域从离线单点预测向在线序列生成的转变。随着多模态大语言模型(MLLMs)的兴起,PerFRDiff 等个性化权重编辑扩散模型出现,开启了个性化 MAFRG 的研究方向。DualTalk 等双说话人交互框架突破了单一角色生成的局限,为实时双人 3D 头像交互提供了架构参考。
2025-2026 年,领域进入“交互式数字人”阶段,核心驱动力转向实时性、全双工交互(Full-duplex)以及基于人类偏好对齐(Human Preference Alignment)的强化学习。ReactDiff 将时空面部运动学先验融入扩散过程,显著提升了反应的时间连贯性。UniLS 构建端到端统一说话与倾听头像生成框架,解决了音频-运动相关性失衡导致的倾听表情僵硬问题。GDPO-Listener 提出自回归流匹配与组奖励解耦策略优化框架,实现了高表达性的实时交互头像。当前形态呈现为“LLM 高层推理 + 生成模型底层渲染”的分层混合范式,旨在构建具备理论心智和长期记忆能力的闭环社交智能体。
如果用一个核心问题概括该领域,那便是:如何在实时约束下,基于多模态长程上下文,生成符合社交规范且具备个体多样性的非确定性听者反应分布。
2. 方法体系
2022:Learning to Listen——提出非确定性双人面部运动建模框架,确立“一对多”映射理论基础
2023:INFP——构建基于音频驱动的双人对话视频合成框架,实现早期全双工交互探索
2023:REACT 2023——发起首个 MAFRG 挑战赛,建立标准化评估基准
2024:PerFRDiff——提出个性化权重编辑扩散模型,开启个性化 MAFRG 研究方向
2024:DualTalk——设计双说话人交互 3D 头像对话框架,突破单一角色生成局限
2025:ReactDiff——提出基础多适当面部反应扩散模型,融入时空先验提升连贯性
2025:UniLS——构建端到端统一说话与倾听头像生成框架,解决倾听表情僵硬问题
2026:GDPO-Listener——提出自回归流匹配与组奖励解耦策略优化框架,实现高表达性实时交互
这条时间线勾勒了该领域方法演进的代表性节点:从 2022 年的 Learning to Listen 奠定该领域方法基线,经 2023 年 INFP 的推进,到 2026 年的 PolySLGen 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 多模态反应生成
多模态反应生成路线起源于对“一对多”映射范式的响应,旨在通过概率生成模型捕捉人类反应的随机性。ReactDiff(Luo et al., 2025, P2)是该路线的代表性工作,它针对早期确定性模型在相同说话人行为下生成单一平均反应的局限,提出了基于时间扩散框架的多适当面部反应生成模型。ReactDiff 的核心创新在于将时间面部行为运动学与面部动作单元依赖关系融入标准扩散过程,前者确保当前生成的适当面部反应与之前生成的片段在时间上保持连续,后者防止生成不符合人类面部解剖学约束的不真实表情。这种设计放弃了扩散模型原有的无约束采样灵活性,换取了生成结果的时间连贯性与解剖学合理性,有效抑制了视觉抖动和不自然过渡。
在个性化维度上,PerFRDiff(2024)通过调整扩散过程权重实现针对特定个体风格的面部反应生成,解决了通用模型缺乏个性化表达的问题。然而,扩散模型的高计算开销限制了其实时部署能力。为此,ReactMotion(Luo et al., 2026, P7)转向序列到序列架构,引入模态特定分词器将原始输入转换为离散特殊令牌,并采用基于组偏好的学习目标进行训练。ReactMotion 放弃了扩散模型的连续分布建模能力,换取了序列模型在长程依赖捕捉上的优势,明确允许为同一说话人话语生成多个适当的反应,避免了模型回归到通用、弱条件响应的倾向。
ContextFace(ICCV 2025, P17)则代表了该路线向语义推理的延伸,利用 MLLM 对现有情感数据集进行情境增强,通过视觉指令微调训练模型理解情境与情感之间的复杂关系。ContextFace 放弃了纯视觉驱动的端到端训练,换取了对社交语境和情绪逻辑的深度理解,使生成的面部表情不仅视觉逼真,更符合社会规范。该路线与交互式头像合成路线的竞争在于:前者侧重离线高质量生成与多样性,后者侧重实时性与交互闭环;但两者在底层面部参数解码(如 FLAME 模型)上存在互补性,共同构成了 LFRG 的技术基础。
2.2 交互式头像合成
交互式头像合成路线聚焦于全双工或实时对话场景下的说话-倾听统一建模,旨在克服倾听动作僵硬、缺乏上下文感知的问题。UniLS(Chu et al., 2025, P3)是该路线的里程碑,它针对现有系统要么仅说话要么仅倾听,且依赖外部运动输入导致实时性差的问题,提出了端到端的统一说话与倾听头像生成框架。UniLS 识别出音频-运动相关性失衡是倾听表情僵硬的根本原因,即说话人 A 的语音强烈驱动其自身运动,而倾听反应与语音相关性较弱。为此,模型采用多尺度编解码器并实施两阶段训练策略:第一阶段在无音频条件下预训练以建立基础运动能力,第二阶段引入音频条件进行微调。这种设计放弃了单阶段联合训练的简洁性,换取了对说话和倾听不同驱动机制的区分能力,实现了仅依赖音频输入的高保真全双工交互。
GDPO-Listener(Jin et al., 2026, P9)进一步解决了倾听头生成中的“回归均值”问题和离散量化误差。该方法采用连续面部运动学表示,避免将连续 3D 面部运动强制离散化到码本中导致的抖动和状态突变。基础模型采用自回归流匹配,结合因果自回归生成与连续潜空间流的高保真合成,支持无限序列的实时生成。在训练阶段,引入组奖励解耦策略优化(GDPO),专门针对倾听帧优化表达性奖励,通过强化学习机制鼓励模型生成更具表现力和多样性的反应。GDPO-Listener 放弃了纯监督学习的稳定性,换取了基于人类偏好对齐的高表达性,显著提升了倾听反应的表达性和自然度。
ECHO(Kong et al., 2026, P8)则侧重于情感适当性与长程上下文理解,提出长程上下文理解(LCU)组件和块级语义解耦交叉注意力(SDCM)模块。ECHO 突破了仅依赖双轨音频信号的局限,整合了用户的视觉行为和对话历史中的情感上下文,使生成的头像能够更准确地反映对话中的情感动态。该路线与多模态反应生成路线的关联在于:两者均依赖 FLAME 模型作为中间表示,但交互式头像合成更强调实时反馈闭环与全双工状态切换,而多模态反应生成更侧重离线分布建模的多样性。
2.3 群体与社交交互
群体与社交交互路线探索超越二元对话的多人交互、群体反应生成及社交智能建模,关注多模态社交线索融合、理论心智推断及群体动态中的非语言行为协调。Social Agent(Zhang et al., 2025, P1)是该路线的早期代表,提出基于对话 LLM 代理的双人非语言行为生成系统。该方法首先构建双人运动生成模型,通过滑动窗口机制将问题形式化为多轮单代理运动生成任务。随后引入基于 LLM 的社交代理系统,通过语音和指令输入推导两个对话者之间的上下文交互约束,如空间距离、视线接触和手势同步。Social Agent 放弃了纯数据驱动的端到端训练,换取了对社交关系和熟悉程度的显式语义推理能力,实现了基于语义和社交语境的全身体协调非语言行为合成。
PolySLGen(Lin et al., 2026, P10)将这一思路扩展至多人交互场景,提出在线多模态说话-倾听反应生成框架。该方法利用预训练 LLM 作为骨干网络进行交互推理,设计专用模块编码和解码语音风格、身体和手部运动的嵌入。通过姿态融合模块联合考虑所有参与者的运动,以及社交线索编码器捕捉其他参与者头部朝向的交互信号,模型能够理解群体动态。PolySLGen 的目标是基于过去的群体交互生成目标参与者的未来反应,包括文本、语音风格、身体和手部运动以及说话状态分数。该方法放弃了单一参与者建模的简洁性,换取了对复杂社交场景中注意力分配和群体情绪的建模能力,提升了非语言行为的自然度和一致性。
Resonant Minds(Shangguan et al., 2026, P12)则引入了理论心智(Theory of Mind, ToM)概念,构建具有 ToM 的闭环社交头像框架。该方法构建分层 Persona-Scenario 数据集,包含事实层和心理层,支持在信息不对称条件下的评估。框架核心包含感知模块,从多模态行为线索中提取结构化观察,推断合作伙伴的隐藏心理状态,如信念、欲望、意图和情感。基于推断的心理状态,系统生成情感可控的双代理视频合成,实现闭环双向交互。Resonant Minds 放弃了经典贝叶斯模型的计算可行性,换取了在开放自然语言设置中实现计算理论心智的能力,首次实现了具有认知反馈闭环的双代理交互。该路线与交互式头像合成路线的竞争在于:前者侧重社交意图的显式推理与多人协调,后者侧重单人实时渲染与全双工切换;但两者在 LLM 作为高层控制器的架构设计上存在继承关系。
2.4 数据资源与基准
数据资源与基准路线旨在解决真实交互数据稀缺、标注困难问题,提供包含多模态对齐、个性化特征及因果交互结构的高质量资源以支撑模型训练与评估。Face-to-Face(Chu and Patel, 2026, P6)构建了大规模面对面双人对话视频数据集,通过半自动流水线从长篇脱口秀节目中构建,利用跟踪、分离和轻量级人工验证将长视频转化为紧密对齐的交互片段。该数据集包含持续的双人镜头,具有一致的身份、精细的时间对齐和密集的交互标签,捕捉了对话中“呼叫-响应”结构。Face-to-Face 填补了当前数据集在捕捉几何和具身性方面的空白,为训练和评估智能人机交互系统提供了高质量、多样化的资源。
Conversational Human Audio-visual Talking Dialogue Generation(Song et al., 2026, P14)提出了一种从文本提示合成大规模、人口统计多样化的双人交互音频视觉对话(DIAD)数据集的方法。该方法通过模块化设计,包括文本对话生成(TDG)、双人音频对话生成(DADG)和交互式面部行为生成(IFBG),从单一用户定义的文本提示生成多个不同的 DIAD 片段。通过两阶段训练方案,首先预训练各个模块,然后端到端联合优化可训练块,确保稳定优化。该方法生成的 DIAD 片段包含真实、时间连贯、同步且相互响应的语音和面部行为,支持从匿名文本提示生成多样化的交互场景,弥补了真实数据在隐私、伦理和标注成本方面的限制。
InteracVid(Zhang et al., 2026, P15)构建了基于直播视频的真实交互式视听响应数据集,利用直播视频中的实时聊天评论作为外部刺激,提取时间对齐的查询-响应对。该数据集包含 454K+ 对,其中 39K+ 为真实对,414K+ 为合成对,覆盖多样化视频领域和 1080p 高分辨率。InteracVid 提供了丰富的用户查询和流媒体者响应,自然形成基于视听上下文的查询-响应对,为训练和评估多模态助手、头像和具身代理提供了高质量、真实的交互数据资源。A$^2$-LLM(Hu et al., 2026, P4)则引入了 FLAME-QA 数据集,这是一种高质量多模态数据集,旨在以问答格式对齐语义意图与表现性面部动态,通过离散运动标记化将连续面部动态转化为分层令牌,支持自回归建模。该路线与其他方法路线的关系是基础性的:没有高质量的双人耦合数据,多模态反应生成、交互式头像合成和群体社交交互均缺乏训练基础,数据资源路线的进展直接决定了其他路线的性能上限。
2.5 跨任务与多领域应用
LFRG 技术正从学术基准走向实际应用,其核心能力——非确定性反应生成、长程上下文理解与实时交互——在多个领域展现出迁移潜力。在虚拟助手与客服场景中,PACHAT(EMNLP 2025, P16)提出感知人物特征的语音助手框架,采用特征提取和对齐方法,同时建模语音中的语义特征和说话人特征,使模型能够理解说话人表达的内容并识别其身份。PACHAT 利用 Llama 3.1 作为大语言模型,Whisper 作为语义编码器,CosyVoice2 作为 TTS 系统,构建端到端的语音对话模型。该方法通过整合语义和身份特征,提升了模型在复杂多方对话场景中的上下文适当响应能力,为构建能够识别用户身份并适应不同说话风格的智能语音助手提供了技术基础。
在情感计算与心理健康领域,LFRG 技术可用于构建具备情感共鸣能力的虚拟伴侣。通过融合长程情感状态推断与个性化风格保持,系统能够生成符合用户情绪变化的面部反应,增强人机交互的情感连接。在教育培训与远程协作中,实时全双工交互头像可替代传统视频会议中的静态头像,通过捕捉听者的点头、微笑等非语言反馈,提升远程沟通的自然度与信息传递效率。这些应用共同指向一个趋势:LFRG 不再仅仅是视觉生成任务,而是社交智能的核心组件,其价值在于通过非语言行为增强人机交互的社交适当性与个性化体验。
3. 关键共识、分歧与开放问题
3.1 领域共识
LFRG 任务本质上是“一对多”映射问题,确定性回归模型无法捕捉人类反应的随机性和多样性,必须使用概率生成模型(如扩散模型)。这一共识在 REACT2024 基准上被反复验证:ReactDiff 的 48.05 FRCorr 与 15.31 FRDiv 均大幅超越早期确定性基线,证明概率生成在多样性上的优势(支撑证据:P2)。与此相关的另一个共识是生成的面部反应必须具有时间连续性和平滑性,避免视觉抖动和不自然过渡。ReactDiff 通过融入时间面部行为运动学先验,显著提升了反应的时间连贯性,这一设计在多个基准上被证明是必要的(支撑证据:P2、P9)。
仅依赖音频信号不足以生成自然的面部反应,需融合视觉、文本等多模态信号以捕捉丰富的社交线索。ECHO 通过整合用户的视觉行为和对话历史中的情感上下文,在情感适当性上优于纯音频驱动模型,验证了多模态融合的必要性(支撑证据:P8)。长程上下文(如对话历史、情感状态)对生成适当的面部反应至关重要,局部窗口建模会导致反应缺乏语境适应性。MimicTalker 通过语义引导的运动风格记忆模块,在长对话中保持了风格一致性,证明长程建模的重要性(支撑证据:P18)。全双工交互(同时说话和听取)是构建真实数字人的必要条件,硬切换或单向生成无法模拟自然对话流。UniLS 的端到端统一架构在 Seamless Interaction 上实现了低延迟全双工交互,验证了这一共识(支撑证据:P3)。人类偏好对齐(如通过 RLHF 或 DPO)能显著提升面部反应的社会适当性和表达力,优于纯监督学习。Human-Preference Aligned Expression Generation 在 RealTalk 上通过 RL 阶段提升了社会接受度,GDPO-Listener 通过组奖励解耦策略优化提升了表达性,均验证了这一共识(支撑证据:P5、P9)。
3.2 观点分歧
语义理解的实现路径存在根本分歧:显式 LLM 推理 vs 端到端隐式学习。观点 A(显式 LLM)主张使用 LLM 作为高层控制器,显式解析社交意图和语境,生成约束条件,代表方法包括 Social Agent、PolySLGen 和 ContextFace。观点 B(端到端)主张通过大规模数据端到端学习,让模型隐式捕捉语境,避免 LLM 的延迟和幻觉,代表方法包括 UniLS、GDPO-Listener 和 ReactDiff。现有证据偏向观点 A 在长程语境和复杂社交场景下更优,如 Resonant Minds 的 ToM 能力展示了显式推理在社交智能上的优势;但观点 B 在实时性和唇形同步精度上更优,如 UniLS 的低 LVE 证明了端到端架构在实时部署上的效率。分歧根源在于缺乏能够同时评估“长程语义理解”和“毫秒级实时性”的统一基准,LLM 的推理延迟与端到端模型的语境窗口限制是主要矛盾(支撑证据:P1、P10、P17、P3、P9、P2、P12)。
生成架构的选择也存在分歧:扩散模型 vs 流匹配/自回归。观点 A(扩散模型)主张扩散模型在捕捉复杂分布和多样性方面具有理论优势,代表方法包括 ReactDiff 和 PerFRDiff。观点 B(流匹配/自回归)主张流匹配和自回归模型在实时推理和长序列生成上更具优势,代表方法包括 GDPO-Listener 和 A$^2$-LLM。在 REACT2024 等离线基准上,扩散模型(ReactDiff)在 FRDiv 上表现优异;但在 Seamless Interaction 等实时/长序列任务上,流匹配/自回归(GDPO-Listener, UniLS)在 LVE 和延迟上占优。证据偏向场景依赖:离线重质量,在线重速度。分歧根源在于扩散模型的少步采样技术(蒸馏)尚未完全成熟,流匹配在极端多样性上的表现仍需更多验证(支撑证据:P2、P9、P4)。
3.3 其他开放问题
最紧迫的工程问题是实时推理效率优化。当前扩散模型和 LLM 驱动的生成方法推理延迟较高,难以满足实时交互需求。关键困难在于平衡生成质量与计算开销,潜在路径包括蒸馏多步采样为少步生成、使用 KV 缓存加速自回归流匹配、以及优化 LLM 推理吞吐量。最根本的研究问题是语义与情感深度理解。现有模型主要依赖声学线索驱动倾听行为,缺乏对对话语义和情感意图的深度理解。关键困难在于构建大规模语义-情感对齐数据集,潜在路径包括引入 LLM 进行语义推理、构建情感可控的 TTS 和面部动画模块、以及利用理论心智进行社会推理。多人交互(Polyadic)建模也是重要开放问题,当前研究多集中于二元交互,缺乏对多人场景中复杂社会动态的建模。关键困难在于多人交互数据的稀缺和标注困难,潜在路径包括利用角色扮演游戏等自然多人场景数据、设计社会线索编码器、以及开发支持多人注意力机制的生成框架。个性化与身份保持、长时程一致性与记忆、端到端统一架构、评估协议完善、数据多样性与规模等问题也亟待解决。已知—争议—未知认知图谱显示:概率生成必要性、多模态融合重要性、时间连续性必要性是已知共识;LLM vs 端到端、扩散 vs 流匹配是主要争议;实时语义推理的计算开销、社交规范的量化评估、理论心智的计算建模是未知前沿。发展趋势指向“分层混合架构”:底层采用高效的流匹配或自回归模型保证实时性,中层利用轻量级 LLM 或注意力机制处理长程上下文,顶层通过 RLHF 对齐社交偏好。
4. 总结与展望
LFRG 领域正经历从“视觉同步工具”向“社交智能体核心”的根本性转变。早期研究受限于数据规模与计算能力,将问题简化为确定性映射,导致生成结果僵硬且缺乏多样性。随着“一对多”范式的确立,概率生成模型解决了多样性问题,但引入了计算开销;MLLM 的引入解决了语义理解问题,但引入了延迟;流匹配与 RLHF 则是为了解决前两者在实时性和表达力上的妥协。核心瓶颈在于实时语义推理的计算开销与数据中社交因果结构的缺失,这限制了当前方法在复杂社交场景下的泛化能力。
未来可能突破的方向包括:实时推理效率优化,通过蒸馏多步采样为少步生成、使用 KV 缓存加速自回归流匹配、以及优化 LLM 推理吞吐量,平衡生成质量与计算开销(P9、P4 共同指向);语义与情感深度理解,通过引入 LLM 进行语义推理、构建情感可控的 TTS 和面部动画模块、以及利用理论心智进行社会推理,提升反应的社会适当性(P1、P12、P17 共同指向);多人交互(Polyadic)建模,通过利用角色扮演游戏等自然多人场景数据、设计社会线索编码器、以及开发支持多人注意力机制的生成框架,提升复杂社交场景下的人机交互自然度(P10、P12 共同指向)。对进入者最值得做的一件事是构建统一评测基准,同时评估“长程语义理解”和“毫秒级实时性”,以解决当前分歧中证据不足的问题,推动领域从场景依赖走向通用化。
以上为节选,完整内容见ArxivReview