姿态识别、手势识别(附代码)

简介: 姿态识别、手势识别(附代码)

姿态识别技术是一种基于计算机视觉的人体姿态分析方法,可以通过分析人体的姿态,提取出人体的关键点和骨架信息,并对人体的姿态进行建模和识别。随着深度学习技术的发展,近年来姿态识别技术得到了广泛的应用和研究,其中Pose是一种基于深度学习的姿态识别工具包。本篇博客将介绍Pose的原理和方法,并探讨其在姿态识别领域的应用。

目前识别手势,举左手 右手 双手 叉腰等姿态

7c86b45afbe84db9b3ac3db2a4ccf524.png


一、 Pose的原理


Pose是开发的一种基于深度学习的姿态识别工具包,它可以通过摄像头或静态图像中的人体图像,快速准确地推断出人体的关键点和骨架信息。Pose的原理是通过卷积神经网络(CNN)来对人体的关键点进行预测。具体来说,e Pose使用的是一种称为卷积神经网络回归(Convolutional Neural Network Regression,简称CNN Regression)的方法,它可以将输入的图像映射到一个连续的空间,从而可以对图像中的每个像素位置进行预测。

#全部代码 1309399183 <------------qq
# ------------------------------------------------
#   计算姿态
# ------------------------------------------------
def get_pos(keypoints):
    str_pose = ""
    # 计算左臂与水平方向的夹角
    keypoints = np.array(keypoints)
    v1 = keypoints[12] - keypoints[11]
    v2 = keypoints[13] - keypoints[11]
    angle_left_arm = get_angle(v1, v2)
    if angle_left_arm<0 and angle_right_arm<0:
        str_pose = "举左手"
    elif angle_left_arm>0 and angle_right_arm>0:
        str_pose = "举右手"
    elif angle_left_arm<0 and angle_right_arm>0:
        str_pose = "举双手"
        if abs(angle_left_elow)<120 and abs(angle_right_elow)<120:
            str_pose = "三角形"
    elif angle_left_arm>0 and angle_right_arm<0:
        str_pose = "正常"
        if abs(angle_left_elow)<120 and abs(angle_right_elow)<120:
            str_pose = "AKIMBO"
    return str_pose


Pose的卷积神经网络由两个主要部分组成:特征提取器和回归器。特征提取器用于从输入图像中提取特征,回归器用于对每个关键点的坐标进行回归预测。特征提取器通常使用预训练的深度卷积神经网络模型,如MobileNet或ResNet,来提取输入图像的特征表示。回归器通常由多层卷积神经网络和全连接层组成,用于对特征进行处理,并对每个关键点的坐标进行回归预测。

9b32026a285548b08d4b5aeac574328e.png


二、姿态识别Pose的方法


MediaPipe Pose提供了多种不同的方法来进行姿态识别,包括实时视频姿态估计、静态图像姿态估计和持续视频姿态估计。以下是MediaPipe Pose的几种常见的姿态识别方法:


1. 实时视频姿态估计


实时视频姿态估计是ose最常用的姿态识别方法之一,它可以对实时视频流中的人体姿态进行准确的预测。在实时视频姿态估计中, Pose将输入视频流分成一系列的帧,在每一帧中对人体姿态进行分析和预测。在分析过程中, Pose使用卷积神经网络对每个关键点的坐标进行回归预测,并通过骨架连接来生成姿态估计结果。实时视频姿态估计可以应用于多种应用场景,如运动分析、姿势纠正和虚拟现实等。


2. 静态图像姿态估计


静态图像姿态估计是 Pose用于分析静态图像中人体姿态的一种方法。在静态图像姿态估计中,Pose将输入图像中的每个像素点作为输入,并将其映射到一个连续的空间中。然后,它使用卷积神经网络对每个关键点的坐标进行回归预测,并通过骨架连接来生成姿态估计结果。静态图像姿态估计可以应用于多种应用场景,如人体动作捕捉、人像编辑和人体分析等。

def get_angle(v1, v2):
    angle = np.dot(v1, v2) / (np.sqrt(np.sum(v1 * v1)) * np.sqrt(np.sum(v2 * v2)))
    angle = np.arccos(angle) / 3.14 * 180
    cross = v2[0] * v1[1] - v2[1] * v1[0]
    if cross < 0:
        angle = - angle
    return angle


3. 持续视频姿态估计


持续视频姿态估计是一种用于分析长时间视频流中人体姿态的方法。在持续视频姿态估计中,Pose使用滑动窗口技术对视频流进行分析,以提高姿态识别的准确性和稳定性。在分析过程中,它使用卷积神经网络对每个关键点的坐标进行回归预测,并通过骨架连接来生成姿态估计结果。持续视频姿态估计可以应用于多种应用场景,如安防监控、智能交通和社交媒体等。

大概有反弹.png


三、Pose的应用


Pose是一种功能强大的姿态识别工具包,可以应用于多种应用领域。以下是Pose的一些常见应用:


1. 运动分析和姿势纠正


Pose可以用于运动分析和姿势纠正,例如在健身应用程序中监测用户的姿势,并提供实时反馈以帮助他们改进姿势。它还可以应用于体育训练中,以监测运动员的姿势并提供反馈,以帮助他们改进技能。


2. 人体动作捕捉


Pose可以用于人体动作捕捉,例如在电影制作、游戏开发和虚拟现实中实现逼真的人体动作效果。它也可以应用于医疗领域,例如帮助康复患者进行运动训练。


3. 人像编辑和人体分析


Pose可以用于人像编辑和人体分析,例如在照片编辑应用程序中自动识别人体关键点并对照片进行优化。它也可以应用于人体分析中,例如通过分析人体姿态和动作来识别异常或危险行为。


综上所述, Pose是一种功能强大的姿态识别工具包,可以应用于多种应用领域。它的原理是通过卷积神经网络回归方法对人体关键点进行预测,方法包括实时视频姿态估计、静态图像姿态估计和持续视频姿态估计。随着深度学习技术的不断发展,Pose在姿态识别领域的应用前景将会越来越广泛。


相关文章
|
8月前
|
机器学习/深度学习 监控 算法
计算机视觉实战项目(图像分类+目标检测+目标跟踪+姿态识别+车道线识别+车牌识别)
计算机视觉实战项目(图像分类+目标检测+目标跟踪+姿态识别+车道线识别+车牌识别)
|
8月前
|
人工智能
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-2
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-2
|
8月前
|
机器学习/深度学习 人工智能 算法
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-1
姿态识别+康复训练矫正+代码+部署(AI 健身教练来分析深蹲等姿态)-1
|
机器学习/深度学习 算法 C++
m基于Faster-RCNN网络的猫脸检测和猫眼定位系统matlab仿真,带GUI界面
m基于Faster-RCNN网络的猫脸检测和猫眼定位系统matlab仿真,带GUI界面
66 3
|
传感器 机器学习/深度学习 算法
【姿态解算】基于扩展卡尔曼滤波九轴传感器姿态解算研究附代码
【姿态解算】基于扩展卡尔曼滤波九轴传感器姿态解算研究附代码
|
计算机视觉 C++ Python
Python+Yolov5反光衣黄色马甲特征识别监测快速锁定目标人物体
Yolov5比较Yolov4,Yolov3等其他识别框架,速度快,代码结构简单,识别效率高,对硬件要求比较低。这篇博客针对<<Python+Yolov5反光衣黄色马甲特征识别监测快速锁定目标人物体>>编写代码,代码整洁,规则,易读。 学习与应用推荐首选。
189 0
|
机器学习/深度学习 机器人 vr&ar
照片转视频,像航拍一样丝滑,NeRF原班人马打造Zip-NeRF(1)
照片转视频,像航拍一样丝滑,NeRF原班人马打造Zip-NeRF
366 0
|
编解码 算法 数据可视化
照片转视频,像航拍一样丝滑,NeRF原班人马打造Zip-NeRF(2)
照片转视频,像航拍一样丝滑,NeRF原班人马打造Zip-NeRF
297 0
|
算法 数据处理 计算机视觉
砥砺的前行|基于labview的机器视觉图像处理(七)——图像双边处理自适应亮度
砥砺的前行|基于labview的机器视觉图像处理(七)——图像双边处理自适应亮度
161 0
砥砺的前行|基于labview的机器视觉图像处理(七)——图像双边处理自适应亮度
|
机器学习/深度学习 编解码 人工智能
首篇BEV感知生成工作!BEVGen:从鸟瞰图布局生成环视街景图像
本文提出了BEVGen,这是一个条件生成式模型,它合成了一组真实且空间一致的环视图像,这些图像与交通场景的BEV布局相匹配。BEVGen结合了一种新颖的交叉视图转换和空间注意力设计,学习相机和地图视图之间的关系,以确保它们的一致性。BEVGen可以精确地渲染道路和车道线,以及在不同的天气条件和时间生成交通场景。
首篇BEV感知生成工作!BEVGen:从鸟瞰图布局生成环视街景图像