A Survey of Deep Learning Gait Recognition |深度学习步态识别综述

简介: 步态识别(GaitRecognition)利用非接触视频序列提取个体身份特征,其核心价值在于远距离与无配合场景下的独特优势。早期研究聚焦于二维剪影的时序建模,通过集合学习消除帧顺序依赖,确立了数据驱动的新基准,但受限于投影几何歧义与协变量干扰。随着三维几何重建与多模态传感器的引入,研究重心从单一模态精度转向跨模态对齐与复杂环境鲁棒性。近期,大模型与生成式AI的介入进一步拓展了步态分析边界,使其兼具身份识别、属性估计与临床诊断能力。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何度量到语义先验的因果演进链条,为读者提供一张领域认知地图。

综述原文见 www.arxivreview.com

导读

步态识别(Gait Recognition)利用非接触视频序列提取个体身份特征,其核心价值在于远距离与无配合场景下的独特优势。早期研究聚焦于二维剪影的时序建模,通过集合学习消除帧顺序依赖,确立了数据驱动的新基准,但受限于投影几何歧义与协变量干扰。随着三维几何重建与多模态传感器的引入,研究重心从单一模态精度转向跨模态对齐与复杂环境鲁棒性。近期,大模型与生成式AI的介入进一步拓展了步态分析边界,使其兼具身份识别、属性估计与临床诊断能力。各路线在表示质量、适应效率与计算成本之间做出了不同取舍,由此形成当前多元并存的方法格局。本综述梳理这条从几何度量到语义先验的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

步态识别作为非接触式生物特征识别技术,其核心任务是从视频序列中提取对视角、光照及衣物变化具有鲁棒性的判别性时空特征。传统方法依赖基于外观的二维剪影表示,虽计算高效但易受环境干扰。2019年,GaitSet(Chen et al., 2019)将步态序列视为无序集合,通过集级特征聚合消除时间顺序依赖,确立了剪影识别的新基准,标志着从传统模板匹配向数据驱动范式的转变。这一范式解决了早期方法对帧顺序敏感的问题,但暴露出二维投影缺乏内部结构信息的局限,特别是在长距离和低分辨率下信息丢失严重。

问题定义的演化呈现出从“精度导向”到“鲁棒性导向”再到“语义导向”的清晰脉络。2020-2021年间,研究者意识到单一二维模态的瓶颈,开始引入三维结构信息。SMPLGait(Wang et al., 2022)利用从RGB图像重建的密集三维网格,引入了丰富的身体结构几何信息,为缓解视角敏感性问题提供了关键路径。随后,LidarGait(Wang et al., 2023)提出大规模LiDAR-相机多模态基准,通过融合三维点云与二维视觉信息,解决了单一RGB模态在遮挡和光照变化下的局限性。这一阶段,问题定义从单一模态精度提升转向跨模态对齐与融合,子问题依赖关系逐渐清晰:单模态鲁棒性是跨模态融合的基础,而特征解耦是多任务学习的前提。

2024-2026年,大模型与生成式AI的介入引发了第三次范式跃迁。BigGait(Ye et al., 2024)利用大规模视觉模型进行无监督步态表征学习,证明了预训练大模型在野外数据集上的迁移能力。FoundationGait(Ye et al., 2025)进一步构建了基于自监督对比学习的步态基础模型,探索了步态领域的缩放定律。与此同时,研究重心从单一身份识别拓展至心理健康、临床诊断及隐私保护。BioGait-VLM(Chen et al., 2026)提出三模态视觉-语言-生物力学框架,将步态分析从单纯的分类任务拓展至具备语义推理能力的临床诊断辅助。这一阶段,核心挑战转变为如何在非受控、多模态且存在复杂协变量干扰的真实环境中,构建兼具身份判别力、语义可解释性及隐私安全性的通用步态理解系统。

约束演化史揭示了方法如何因应数据与环境变化而演变。2016-2018年的奠基期,受限于算力与数据规模,研究聚焦于实验室受控环境下的精度提升,GaitSet等方法的简洁性成为主流。2020-2022年,随着SUSTech1K、Gait3D等大规模野外数据集的出现,跨域基准暴露出域偏移下的原型崩溃问题,研究者转向三维重建与多模态融合,用更强的几何先验换取跨域鲁棒性。2023-2025年,预训练与视觉语言模型的引入,进一步用语义先验弥补几何信息的不足,提升了模型在极端视角和遮挡条件下的泛化能力。当前形态下,多模态统一框架与基础模型范式结合,旨在解决长距离、极端环境及隐私约束下的综合挑战。

如果用一个核心问题概括该领域,那便是:如何在非受控、多模态且存在复杂协变量干扰的真实环境中,构建兼具身份判别力、语义可解释性及隐私安全性的通用步态理解系统。

2. 方法体系

  • 2019:GaitSet——奠定集合学习基线

  • 2020:GaitPart——推进局部时间建模

  • 2022:SMPLGait——引入三维网格表征

  • 2023:LidarGait——开启多模态融合阶段

  • 2024:BigGait——引入基础模型范式

  • 2025:Combo-Gait——统一多模态多任务框架

  • 2026:MMGait/OmniGait——多传感器统一架构

  • 2026:BioGait-VLM——临床语义推理拓展

这条时间线勾勒了该领域方法演进的代表性节点:从 2019 年的 GaitSet 奠定该领域方法基线,经 2020 年 GaitPart 的推进,到 2026 年的 MMGait/OmniGait 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 表征学习与架构

表征学习路线的核心在于设计高效网络以提取判别性时空特征,其演进从CNN到Transformer再到KAN及超图,旨在解决固定时间窗口的局限性与局部细节的鲁棒性问题。GaitSet(Chen et al., 2019)作为奠基方法,通过集级特征聚合消除了时间顺序依赖,但其缺乏内部结构信息的局限促使后续研究引入更复杂的架构。GaitPart(Chen et al., 2020)提出基于时间部分的模型,将轮廓分解为水平条带并设计焦点卷积学习局部微运动,揭示了细粒度时间建模的重要性。GaitGraph(Teepe et al., 2021)结合骨架姿态与图卷积网络,建立了现代基于模型的步态识别基线,通过显式建模关节空间关系提升了结构特征的表达能力。

近期方法进一步探索了新颖表征与高效架构。TKAN(Asad and Vishwakarma, 2026)提出基于时间Kolmogorov-Arnold网络的步态识别方法,利用可学习的激活函数拟合复杂的非线性时间依赖关系,相比传统RNN和Transformer具有更高的参数效率,在CASIA-B数据集上表现出优越的性能。Gait-X(ICCV 2025)探索X模态(频率域)在通用步态识别中的应用,通过基于块的离散余弦变换提取频率特征,引导模型选择性处理无关频率,缓解了过拟合和泛化问题。HyperGait(CVPR 2026)利用超图挖掘解析信息高阶关系,将人体解析区域视为超图节点,通过超边捕捉区域间的高阶空间关系,克服了传统图结构仅建模两两关系的局限。这些方法在解决协变量鲁棒性上互为补充,频率域特征为多模态对齐提供了更稳定的特征空间,而超图结构则提升了特征表达的丰富性。

2.2 多模态融合识别

多模态融合路线旨在通过整合2D剪影、3D网格、骨架或LiDAR点云等异构数据,以互补信息提升复杂环境下的识别鲁棒性。SMPLGait(Wang et al., 2022)利用从RGB图像重建的密集3D网格表示进行步态识别,引入了丰富的身体结构几何信息,为缓解2D投影带来的视角敏感性问题提供了关键的3D表征路径。LidarGait(Wang et al., 2023)提出大规模LiDAR-相机多模态基准与识别方法,通过融合3D点云与2D视觉信息,解决了单一RGB模态在遮挡和光照变化下的局限性,开启了多模态步态识别的新阶段。

Combo-Gait(Wang et al., 2025)提出一种统一的多模态多任务Transformer框架,并行处理2D时间轮廓序列与3D SMPL参数特征,利用Transformer的自注意力机制有效融合这两种互补模态。该框架引入了多任务学习策略,在识别身份的同时联合估计年龄、BMI和性别等人体属性,通过共享表示学习增强特征对属性的敏感性。Mesh-Gait(Wang et al., 2025)构建了一个从2D轮廓进行多模态表征学习的统一框架,通过双分支骨干网络提取特征,2D分支使用卷积编码器直接从轮廓中提取外观特征,而3D分支则通过3D估计器从轮廓序列重建3D热图,进而重建3D关节、虚拟标记和网格以提取结构特征。OmniGait(Wang et al., 2026)设计了一个简单而强大的基线模型,旨在灵活处理单模态、跨模态和多模态步态识别任务,包含模态特定编码、自适应跨模态融合和共享表示学习三个核心组件,能够独立提取RGB、LiDAR、红外等九种异构模态的判别性表示。这些方法在解决跨模态语义鸿沟上做出了不同取舍,Combo-Gait利用3D SMPL的视角不变性弥补2D轮廓在长距离下的信息缺失,而OmniGait则以RGB轮廓为锚点模态,实现了通用化的多模态处理。

2.3 基础模型与生成

基础模型与生成路线旨在通过大规模自监督预训练和生成式AI进行数据增强、统一模板学习及特征正则化,以提升模型的泛化能力与鲁棒性。BigGait(Ye et al., 2024)利用大规模视觉模型进行无监督步态表征学习,证明了预训练大模型在野外步态数据集上的迁移能力,为步态领域引入基础模型范式奠定了基础。FoundationGait(Ye et al., 2025)构建了基于自监督对比学习的步态基础模型,通过扩大模型规模并引入部分感知学生编码器,探索了步态领域的缩放定律,实现了零样本跨域识别能力。

CoD2(Xiong et al., 2025)提出一种协作判别与生成扩散模型的步态识别框架,利用扩散模型进行特征正则化,通过生成过程捕捉复杂的数据分布,增强特征提取的鲁棒性。Origins(ICCV 2025)提出一种学习统一模板的步态识别方法,利用扩散模型的生成能力在一致且多样的语义空间中正则化步态表征,通过扩散时间步模板生成整个步态数据库的表征,隐含每个步态序列可由统一模板构建。BarbieGait(Cai et al., 2026)构建了一个身份一致且具有多种着装变化的合成人体数据集,并提出了面向着装的不变特征提取方法GaitCLIF,通过3D人体建模、随机着装和运动匹配生成,提供了大规模的跨着装步态数据,解决了现有数据集缺乏多样化着装变化的问题。这些方法在解决数据稀缺与泛化能力上互为补充,基础模型提供了强大的预训练表征,而生成式模型则通过合成数据或正则化机制增强了模型的鲁棒性。

2.4 鲁棒性与基准评估

鲁棒性与基准评估路线旨在针对光照、遮挡及分布偏移等挑战,建立系统性鲁棒性评估基准,并研究几何不变性以增强模型泛化能力。RobustGait(Sayera et al., 2025)建立了一个系统性鲁棒性分析基准,旨在评估外观基步态识别模型在真实世界噪声和分布偏移下的性能。该方法揭示了轮廓提取器差异导致评估偏差的问题,并指出直接对轮廓加噪比从RGB传播噪声更能反映真实世界情况。通过评估多种架构在不同噪声类型下的表现,研究发现Transformer模型因全局自注意力机制在应对局部失真时更具鲁棒性。

RRSGait(Wang et al., 2026)提出一种学习几何不变性的步态识别方法,通过反射、旋转和缩放三种几何变换模拟不同步态条件。该方法设计了反射、旋转和缩放等变学习模块,分别对应不同的几何变换,以增强模型对视角和姿态变化的鲁棒性。HID 2025 Competition(Ma et al., 2026)组织了一项远距离人类识别竞赛,旨在评估步态识别在长距离监控和拥挤环境下的实际性能。竞赛使用SUSTech-Competition数据集,包含859个主体,涵盖着装、携带和视角变化,测试集采用新的随机划分以确保无重叠。这些方法在解决协变量鲁棒性上做出了不同取舍,RobustGait提供了标准化的鲁棒性评估协议,而RRSGait则通过几何先验约束增强了模型在复杂视角下的泛化能力。

2.5 跨任务与多领域应用

跨任务与多领域应用路线将步态应用于病理检测、心理特质推断及临床评估,同时研究基于扩散模型的步态去标识化以保护隐私。GenGait(Motta et al., 2026)提出一种基于Transformer的无标签框架,用于关节级步态异常检测和规范性孪生生成。该方法仅使用150名健康成人的规范性步态序列训练掩码自编码器,学习正常步态的先验分布,在推理阶段通过遮挡单个关节并测量与学习先验的偏差来估计关节不一致分数,从而检测异常。MoME(Cǎtrunǎ et al., 2025)提出一种多阶段混合运动专家模型,用于从步态中估计心理特质。该方法将任务框架化为多任务分类,利用混合专家架构中的独立专家模块自适应加权,提取任务特定的相关运动模式。

BioGait-VLM(Chen et al., 2026)提出一种三模态视觉-语言-生物力学框架,用于可解释的临床步态评估。该方法基于预训练大型视觉语言模型,通过冻结预训练参数并训练辅助模块,确保在有限临床数据上的鲁棒泛化。GaitProtector(Duan et al., 2026)提出一种基于训练免费扩散潜在优化的步态去标识化方法,用于保护隐私。该方法通过目标去标识化设置,合成受保护序列以抑制源身份并促进目标身份识别,同时保持感知合理性和下游效用。这些方法在解决隐私保护与识别性能的矛盾上做出了不同取舍,BioGait-VLM通过语义推理提升了临床决策的透明度,而GaitProtector则通过生成式模型实现了自然的身份转换。

3. 关键共识、分歧与开放问题

3.1 领域共识

领域在“多模态优于单模态”和“Transformer优于CNN”上达成高度共识。预训练-微调范式的优势在多个基准上被反复验证:CoD2在SUSTech1K的83.8% R-1与Mesh-Gait在Gait3D的51.4% R-1均大幅超越经典基线,表明大规模预训练与多模态融合在提升泛化能力上的有效性(支撑证据:P5、P2)。与此相关的另一个共识是,Transformer架构在捕捉长程时空依赖和全局上下文方面优于传统CNN,尤其在处理噪声和遮挡时表现出更强的鲁棒性。RobustGait的实验表明,Transformer模型因全局自注意力机制在应对局部失真时更具鲁棒性,而基于集合的模型在序列噪声下保持稳定(支撑证据:P6)。这些共识在SUSTech1K、Gait3D等大规模野外基准上确立,反映了领域从实验室受控环境向真实复杂场景迁移的技术趋势。

3.2 观点分歧

生成式模型在步态识别中的角色存在显著分歧:一方认为扩散模型应作为特征正则化器(CoD2, Origins),另一方认为应作为数据增强器(BarbieGait, PGcGAN)。现有证据偏向正则化器在特征质量上更优,CoD2在SUSTech1K达83.8% R-1,但数据增强在解决数据稀缺上更直接,BarbieGait提供120万+序列。这一分歧的背后,是另一个更根本的争论:跨模态对齐的本质是几何对齐还是语义对齐。Mesh-Gait等几何对齐方法在长距离场景下更稳定,Combo-Gait在BRIAR达68.9% R-1,而Text-guided Disentanglement等语义对齐方法在极端视角/遮挡下泛化能力更强,TCFDNet达55.9% R-1。现有证据表明,几何对齐依赖高质量3D重建,语义对齐依赖高质量文本注释,两者在不同数据条件下表现不同,缺乏统一指标评估“几何一致性”与“语义一致性”的相对贡献。

3.3 其他开放问题

最紧迫的工程问题是长距离(>50m)低分辨率下的特征提取与边缘设备上的实时部署。EMGaitNet在LRGait上的68.9% R-1成绩表明语义引导的多模态融合在长距离场景下的可行性,但FLOPs优化仍是部署瓶颈。最根本的研究问题是跨模态语义对齐的本质与步态作为健康生物标志物的因果机制。BioGait-VLM通过三模态框架实现了可解释的临床步态评估,但步态运动与心理/生理状态的因果关联机制尚未完全揭示。隐私保护与识别性能的权衡也是关键开放问题,GaitProtector证明完全去标识化会损失健康信号,而保留身份特征存在隐私泄露风险,目前缺乏跨场景的统一评估协议。已知—争议—未知认知图谱显示,多模态融合与基础模型范式已确立,但跨模态对齐本质、健康因果机制及隐私-效用权衡的理论框架仍是未来研究的核心方向。

4. 总结与展望

步态识别已从单一的2D剪影匹配演变为多模态、语义增强的通用人体运动理解系统,其核心在于通过跨模态融合与基础模型解决协变量鲁棒性,并拓展至健康分析与隐私保护的新边界。领域成功构建了兼具身份判别力、语义可解释性及隐私安全性的系统,但长距离与极端环境下的鲁棒性仍是挑战。未来可能突破的方向包括:基于LLM的步态语义推理(BioGait-VLM, LMGait)可能开辟新的临床诊断路径;基于扩散模型的统一模板学习(Origins, CoD2)可能解决跨域泛化的根本问题;基于多模态统一框架的长距离识别(Combo-Gait, OmniGait)可能提升极端环境下的鲁棒性。对进入者最值得做的一件事是,在统一骨干与统一预训练条件下,系统评估跨模态对齐策略(几何 vs 语义)在长距离与极端视角下的性能衰减率,以揭示跨模态语义对齐的本质。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9076 24
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2695 13
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1285 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11111 59
|
3天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
943 0
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1315 1
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。