GAViD: A Large-Scale Multimodal Dataset for Context-Aware Group Affect Recognition from Videos

简介: 本研究构建了当前规模最大、标注最完备的**多模态上下文感知群体情感视频数据集GAViD**,并提出CAGNet模型实现视觉、音频、上下文信息的有效融合,在效价分类与离散情感识别任务上取得领先性能,填补了领域内数据与模型的双重缺口,为自然场景下群体情感计算研究提供了关键支撑。

作者信息

  1. Deepak Kumar:印度理工学院罗克分校计算机科学与工程系
  2. Abhishek Pratap Singh:印度理工学院罗克分校计算机科学与工程系

研究背景

群体情感识别(GAR)是情感计算的重要分支,旨在分析群体中个体的情感模式以揭示集体情感状态,在商业效率、市场营销、团队绩效评估、社会心理学、人机交互、公共安全等领域具有广泛应用价值。
当前自然无约束场景(in-the-wild)下的群体情感识别面临两大核心挑战:

  1. 数据层面:现有大规模标注数据集匮乏,多数数据集仅包含视觉模态、缺少音频与上下文信息,且普遍不同时具备效价标签、离散情感标签与上下文元数据,无法支撑多模态上下文感知建模。
  2. 模型层面:现有方法多依赖视觉特征,极少充分利用场景上下文信息,而大语言模型已证明上下文信息对视频理解的重要性,群体情感识别中上下文建模研究严重不足。
    此外,真实场景视频存在光照差、遮挡、运动模糊、视角多变等问题,进一步增加群体情感捕捉与标注难度。

研究目的

  1. 解决自然场景下群体情感识别缺乏大规模、多模态、带上下文标注的数据集这一核心缺口,构建同时包含视频、音频、上下文信息,且标注效价与离散情感的数据集。
  2. 提出能够有效融合视觉、音频、上下文特征的多模态上下文感知群体情感识别模型,为该领域提供基准方法。
  3. 支撑复杂社会系统中群体情感动态的量化建模与分析,推动群体情感识别在真实场景的应用落地。

本文核心贡献

  1. 构建大规模多模态群体情感数据集GAViD:包含5091个自然场景视频片段,同步提供视频、音频、多模态大模型生成并人工校验的上下文元数据,同时标注三元效价、五类离散情感、情感强度、交互类型与行为线索,是首个同时完备具备三类核心标注的群体情感数据集。
  2. 提出上下文感知群体情感识别网络CAGNet:通过跨模态注意力与门控融合机制,统一建模视觉、音频、上下文信息,可端到端处理视频且能稳健应对模态缺失场景。
  3. 提供完备实验基准:在GAViD数据集上系统对比多种融合策略与现有视频大模型,验证多模态上下文融合的有效性,为后续研究提供可复现的基线与评估方案。
  4. 规范伦理与开源体系:数据集采用CC BY 4.0协议开源,明确禁止监控、画像等非研究用途,配套完整代码与文档,保障研究可复现性。

研究方法

image

1. GAViD数据集构建流程

  1. 数据采集:从YouTube获取知识共享协议(CC BY)授权视频,筛选包含2人及以上群体互动的内容,共得到321个原始视频。
  2. 视频分割:使用FFmpeg将视频切分为平均5秒的片段,每个原始视频最多保留35个片段,初始得到5130个片段。
  3. 数据清洗:剔除无清晰群体结构、人脸不可见、低分辨率、无有效时序信息的片段,最终保留5091个高质量片段,统一为25fps、720p。
  4. 多维度标注:通过Labelbox平台由108名标注者完成标注,每个片段由3人标注,多数投票确定最终标签,意见分歧时引入第4名标注者仲裁;标注内容包括三元效价、五类离散情感、情感强度、交互类型、行为线索,同时校验VideoGPT生成的上下文元数据。
  5. 数据集划分:按原始视频无重叠原则分为训练集3503个、验证集542个、测试集1046个。

2. CAGNet模型设计

  1. 模态专用编码:使用DINOv2提取视觉特征、Wav2Vec 2.0提取音频特征、XLM-RoBERTa提取文本上下文特征,将所有特征映射到768维公共空间。
  2. 跨模态对齐:对视觉-音频、视觉-上下文、音频-上下文三对组合分别使用掩码多头交叉注意力块,实现模态间信息互补与特征对齐。
  3. 门控融合:采用挤压激励门控机制,动态加权不同模态特征,自适应聚焦关键模态信息。
  4. 分类输出:经层归一化、GELU激活、Dropout正则化后,通过两层MLP输出三元效价分类概率。
  5. 鲁棒性设计:训练时随机丢弃单一模态,测试时以零向量替代缺失模态输入,提升模型对模态缺失的适应性。

3. 实验设置

  • 硬件:NVIDIA RTX A5000 GPU
  • 优化器:AdamW,学习率1×10⁻⁴,权重衰减1×10⁻⁴
  • 训练:最多50轮,早停策略(耐心值5),批次大小16,Dropout率0.4
  • 评估指标:准确率(Acc.)、F1分数,对比融合基线模型与Video-GPT、LLaVA-NeXT等视频大模型

研究结果

  1. 数据集质量:三元效价标注科恩kappa系数0.72,离散情感系数0.65,标注一致性高、数据可靠;情感分布以中性、快乐为主,符合真实场景规律。
  2. 模型性能:CAGNet在三模态(V+A+C)输入下,测试集效价分类准确率达63.20%,F1分数0.614;使用训练+验证集联合训练后,性能提升至66.21%准确率、0.647 F1分数。
  3. 模态有效性:三模态融合效果显著优于双模态,视觉+音频是最优双模态组合,上下文信息能有效修正模糊场景下的情感预测错误。
  4. 对比结果:CAGNet大幅领先简单融合基线与Video-GPT、LLaVA-NeXT等通用视频大模型,证明专用多模态上下文融合结构的必要性。
  5. 离散情感识别:CAGNet测试集准确率61.33%,F1分数0.458,优于基线模型,具备实用价值。
  6. 模态缺失鲁棒性:随机缺失单一模态时,模型性能仅小幅下降,展现良好的容错能力。

总结与展望

本研究构建了当前规模最大、标注最完备的多模态上下文感知群体情感视频数据集GAViD,并提出CAGNet模型实现视觉、音频、上下文信息的有效融合,在效价分类与离散情感识别任务上取得领先性能,填补了领域内数据与模型的双重缺口,为自然场景下群体情感计算研究提供了关键支撑。

未来展望

  1. 扩展GAViD数据集规模,新增帧级别与个体级别情感标注。
  2. 深入研究更细粒度的时序动态建模,提升模型对群体情感变化的捕捉能力。
  3. 探索域适应方法,推动模型在实时部署场景的应用。
  4. 拓展迁移学习,将方法应用于其他相关情感计算任务。
  5. 持续完善数据集与模型,支持更精准的群体与个体情感联合分析。
相关文章
|
7月前
|
自然语言处理 安全
Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents(论文解读)
本文提出的JailAgent框架,通过不修改用户提示词的隐式攻击方式,实现了对LLM智能体推理轨迹与记忆检索的高效劫持,兼具高攻击成功率、强泛化性、高隐蔽性与低计算开销,为LLM智能体的红队测试与安全评估提供了全新范式。
359 2
|
7月前
|
算法 知识图谱 索引
KNOWLEDGE IS NOT STATIC: ORDER-AWARE HYPERGRAPH RAG FOR LANGUAGE MODELS(论文解读)
本研究推翻了RAG领域“检索证据可视为无序集合”的核心假设,提出OKH-RAG框架,将顺序作为核心结构属性融入超图RAG,实现高阶知识交互与时序关系的统一建模。实验证明,在顺序敏感的领域推理任务中,**证据的组织顺序与内容本身同等重要**,顺序感知轨迹检索可显著提升大模型的推理准确性与事实一致性。
362 2
|
7月前
|
人工智能 安全
【技术贴】Openclaw写文章限流,AI小龙虾自动发公众号和小红书的真相在这里
AI全自动写稿+发布公众号/小红书是伪命题——平台明令禁止非真人创作(3.27条)、脚本托管、批量发布。小龙虾托管、草稿箱自动存稿、第三方授权登录等均高危!核心:AI只能辅助选题、润色、查错,真实经验与表达不可替代。
1977 2
|
7月前
|
机器学习/深度学习 自然语言处理 安全
Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward
本研究提出Plan-RewardBench轨迹级奖励建模基准,填补了工具型智能体长时序轨迹奖励模型评估的空白,通过严谨的数据集构建与统一测评,证实现有奖励模型在轨迹级判别上存在显著缺陷,长时序规划、动态约束跟踪、安全拒绝等能力亟待提升,为智能体对齐研究提供了关键测评与数据支撑。
354 0
|
7月前
|
机器学习/深度学习 存储 人工智能
学会Skill开发后,我的月薪涨了1万5
AI测试正经历底层重构:从写脚本转向设计AI系统。大厂招聘已明确要求AI Agent理解、Skill封装与MCP工程能力,传统自动化技能加速贬值。掌握“Agent+Skills+MCP”闭环能力,成为测试工程师涨薪跃迁的核心壁垒。
|
6月前
|
弹性计算 人工智能 运维
阿里云服务器2核2G怎么选择?轻量应用服务器38元与云服务器99元区别及选购策略参考
2026年阿里云两款热门2核2G入门级云服务器,轻量应用服务器38元/年,峰值200M带宽、40G ESSD云盘,预装OpenClaw等镜像,适合新用户快速部署AI应用,但仅限新用户抢购且续费价格高。云服务器ECS经济型e实例99元/年,固定3M带宽不限流量,新老用户同享且续费同价至2027年3月,适合长期稳定运营。追求极致首年性价比和快速上云选轻量,注重长期稳定和环境自定义选ECS,助力个人开发者与中小企业低门槛上云。
|
7月前
|
网络协议 Shell 网络安全
PHP使用CURL详解
** @desc 封装 curl 的调用接口,post的请求方式
448 3
|
7月前
|
存储 设计模式 缓存
为生产级 AI Agent 构建持久化记忆:五阶段流水线与四种设计模式
LLM Agent需持久化记忆以支撑连续对话、用户画像、知识沉淀与崩溃恢复。但满上下文方案成本高、延迟大、易出错。本文提出五阶段流水线(抽取→整合→存储→检索→遗忘)与四种记忆类型(工作/情景/语义/过程记忆),结合结构化状态+向量搜索等设计模式,实现高效、可控、可审计的生产级记忆系统。
1673 9
为生产级 AI Agent 构建持久化记忆:五阶段流水线与四种设计模式
|
7月前
|
SQL 运维 监控
网站防护优化,筑牢网站 Web 层安全防线 —— 策略迭代与误报处置实战指南
在数字化时代,网站安全关乎企业声誉与用户权益。面对SQL注入、XSS、DDoS等新型攻击,传统WAF易现误报漏报。本文系统阐述WAF策略优化四大路径:精简规则、智能检测、分层架构、闭环运维,并提供科学误报识别与处理技巧,助力企业构建动态、精准、高可用的Web安全防护体系。(239字)