集结MIT、英伟达等名校名企！FoundationMotion革新视频运动理解，开源模型竟超闭源大模型
论文标题：FoundationMotion: Auto-Labeling and Reasoning about Spatial Movement in Videos
作者团队：麻省理工学院（MIT）、英伟达（NVIDIA）、密歇根大学、加州大学伯克利分校、斯坦福大学
发布时间：2025年12月11日
✨研究背景
运动理解是物理推理的基础，但现有视觉-语言模型在真实世界视频的运动分析上仍表现不足：缺乏大规模、细粒度的运动标注数据是关键限制。手动标注成本极高，且难以覆盖复杂运动场景，导致模型难以学习“物体如何运动、空间关系如何变化”的深层逻辑。
✨研究方法
FoundationMotion是全自动数据标注pipeline，通过“检测-跟踪-生成”三步提取视频运动信息并生成结构化数据，视频预处理裁剪片段、过滤摄像机剧烈运动视频，物体检测与跟踪含开放词汇检测、人类中心检测及时序跟踪，分别识别通用物体、聚焦人机交互、维持跨帧一致性，GPT-4o-mini将跟踪数据转为含7维度的自然语言，同时生成5类运动理解问答对，模拟运动逻辑推理需求。
✨研究结果
FoundationMotion Dataset含50万组“视频-描述-QA”对（46.7K视频/QA），标注密度1.671问题/秒；微调相关模型后运动理解性能显著提升，前者MotionBench提升至46.7%、AV-Car提升7.1%，后者提升至41.3%并超越闭源模型；边界框JSON提升QA质量，不同QA类型互补最优。
