AI 助理
备案控制台
开发者社区 大数据与机器学习 文章 正文

YOLO11-pose关键点检测：训练实战篇 | 自己数据集从labelme标注到生成yolo格式的关键点数据以及训练教程

2024-10-17 2317
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，1000CU*H 3个月
推荐场景：
实时发现最热Github项目
智能开放搜索 OpenSearch行业算法版，1GB 20LCU 1个月
推荐场景：
搭建高质量商品搜索服务
实时数仓Hologres，5000CU*H 100GB 3个月
推荐场景：
轻松玩转一站式实时仓库
简介： 本文介绍了如何将个人数据集转换为YOLO11-pose所需的数据格式，并详细讲解了手部关键点检测的训练过程。内容涵盖数据集标注、格式转换、配置文件修改及训练参数设置，最终展示了训练结果和预测效果。适用于需要进行关键点检测的研究人员和开发者。

  💡💡💡本文解决什么问题：教会你如何用自己的数据集转换成对应格式的数据集以及如何训练YOLO11-pose关键点检测

image.gif


1.YOLO11介绍

Ultralytics YOLO11是一款尖端的、最先进的模型，它在之前YOLO版本成功的基础上进行了构建，并引入了新功能和改进，以进一步提升性能和灵活性。YOLO11设计快速、准确且易于使用，使其成为各种物体检测和跟踪、实例分割、图像分类以及姿态估计任务的绝佳选择。

image.gif

image.gif

pose官方在COCO数据集上做了更多测试：

image.gif

结构图如下：

image.gif

1.1 C3k2

C3k2，结构图如下

image.gif

C3k2，继承自类C2f，其中通过c3k设置False或者Ture来决定选择使用C3k还是Bottleneck

image.gif

实现代码ultralytics/nn/modules/block.py

1.2 C2PSA介绍

借鉴V10 PSA结构，实现了C2PSA和C2fPSA，最终选择了基于C2的C2PSA（可能涨点更好？）

image.gif

实现代码ultralytics/nn/modules/block.py

1.3 11 Detect介绍

分类检测头引入了DWConv（更加轻量级，为后续二次创新提供了改进点），结构图如下（和V8的区别）：

image.gif

实现代码ultralytics/nn/modules/head.py

2.如何标注自己的关键点数据集

2.1 labelme下载

# 安装labelme
pip install labelme

image.gif

2.2使用labelme下

直接在python环境下运行

labelme

image.gif

2.3 labelme介绍

关键点标记主要使用

1)Create Rectangle生成矩形框；

2）Create Point生成关键点；

image.gif

2.4 数据集标注

image.gif

3.数据集格式转换

3.1标记后的数据格式如下

一张图片对应一个json文件

image.gif

json部分内容如下：

{
  "version": "5.1.1",
  "flags": {},
  "shapes": [
    {
      "label": "Ulna",
      "points": [
        [
          474.71929824561397,
          1443.4035087719294
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "Radius",
      "points": [
        [
          639.6315789473683,
          1445.1578947368416
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "FMCP",
      "points": [
        [
          832.6140350877192,
          1222.3508771929824
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "FPIP",
      "points": [
        [
          1023.8421052631577,
          1089.0175438596489
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "FDIP",
      "points": [
        [
          1157.1754385964912,
          987.2631578947367
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "MCP5",
      "points": [
        [
          430.85964912280696,
          946.9122807017543
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "MCP4",
      "points": [
        [
          543.1403508771929,
          910.0701754385964
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "MCP3",
      "points": [
        [
          657.1754385964912,
          881.9999999999998
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "MCP2",
      "points": [
        [
          797.5263157894736,
          896.035087719298
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "PIP5",
      "points": [
        [
          401.0350877192982,
          864.4561403508769
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "PIP4",
      "points": [
        [
          529.1052631578947,
          801.2982456140348
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "PIP3",
      "points": [
        [
          678.2280701754386,
          773.2280701754385
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "PIP2",
      "points": [
        [
          843.1403508771929,
          810.0701754385964
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "MIP5",
      "points": [
        [
          329.1052631578947,
          696.035087719298
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "MIP4",
      "points": [
        [
          513.3157894736842,
          562.7017543859647
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "MIP3",
      "points": [
        [
          713.3157894736842,
          515.3333333333333
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "MIP2",
      "points": [
        [
          944.8947368421052,
          608.3157894736839
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "DIP5",
      "points": [
        [
          313.31578947368416,
          601.2982456140348
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "DIP4",
      "points": [
        [
          509.8070175438596,
          411.8245614035086
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "DIP3",
      "points": [
        [
          727.3508771929824,
          345.15789473684185
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "DIP2",
      "points": [
        [
          994.017543859649,
          492.52631578947353
        ]
      ],
      "group_id": null,
      "shape_type": "point",
      "flags": {}
    },
    {
      "label": "hand",
      "points": [
        [
          204.82608695652186,
          183.95652173913044
        ],
        [
          1265.695652173913,
          1775.2608695652175
        ]
      ],
      "group_id": null,
      "shape_type": "rectangle",
      "flags": {}
    }
  ],
  "imagePath": "1525.png",

image.gif

3.2 生成适合yolo格式的关键点数据集

labelme2yolo-keypoint

源码见博客:

https://blog.csdn.net/m0_63774211/article/details/142981705

生成的txt内容如下:

0 0.48481 0.47896 0.70079 0.77886 0.31308 0.70597 2 0.42206 0.70695 2 0.54954 0.59785 2 0.67569 0.53278 2 0.76420 0.48288 2 0.28402 0.46282 2 0.35865 0.44521 2 0.43395 0.43102 2 0.52642 0.43836 2 0.26486 0.42270 2 0.34941 0.39188 2 0.44782 0.37818 2 0.55680 0.39628 2 0.21731 0.34051 2 0.33884 0.27495 2 0.47094 0.25196 2 0.62351 0.29746 2 0.20674 0.29403 2 0.33620 0.20108 2 0.48018 0.16879 2 0.65654 0.24070 2

image.gif

讲解：

第一个0代表：框的类别，因为只有hand一类，所以为0

0.48481 0.47896 0.70079 0.77886 代表：归一化后的 框的中心点横纵坐标、宽、高

0.31308 0.70597 2代表：归一化后的 第一个关键点的横纵坐标、关键点可见性

关键点可见性理解：0代表不可见、1代表遮挡、2代表可见

3.3生成的yolo数据集如下

hand_keypoint：
-images:
 --train: png图片
 --val：png图片
-labels：
 --train: txt文件
 --val：txt文件

image.gif

4.手部关键点训练

4.1 新建data/hand_keypoint.yaml

参考coco8-pose.yaml即可

# Ultralytics YOLO 🚀, AGPL-3.0 license
# COCO8-pose dataset (first 8 images from COCO train2017) by Ultralytics
# Example usage: yolo train data=coco8-pose.yaml
# parent
# ├── ultralytics
# └── datasets
#     └── coco8-pose  ← downloads here (1 MB)
# Train/val/test sets as 1) dir: path/to/imgs, 2) file: path/to/imgs.txt, or 3) list: [path/to/imgs1, path/to/imgs2, ..]
path: ./ultralytics-7.31/data/hand_keypoint  # dataset root dir
train: images/train  # train images (relative to 'path') 4 images
val: images/val  # val images (relative to 'path') 4 images
test:  # test images (optional)
# Keypoints
kpt_shape: [21, 3]  # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
flip_idx: [0, 2, 1, 4, 3, 6, 5, 8, 7, 10, 9, 12, 11, 14, 13, 16, 15,17,18,19,20]
# Classes
names:
  0: hand
# Download script/URL (optional)
#download: https://ultralytics.com/assets/coco8-pose.zip

image.gif

4.2修改ultralytics/cfg/models/11/yolo11-pose.yaml

修改为21个关键点和一个类别nc:1

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLO11-pose keypoints/pose estimation model. For Usage examples see https://docs.ultralytics.com/tasks/pose
# Parameters
nc: 1 # number of classes
kpt_shape: [21, 3] # number of keypoints, number of dims (2 for x,y or 3 for x,y,visible)
scales: # model compound scaling constants, i.e. 'model=yolo11n-pose.yaml' will call yolo11.yaml with scale 'n'
  # [depth, width, max_channels]
  n: [0.50, 0.25, 1024] # summary: 344 layers, 2908507 parameters, 2908491 gradients, 7.7 GFLOPs
  s: [0.50, 0.50, 1024] # summary: 344 layers, 9948811 parameters, 9948795 gradients, 23.5 GFLOPs
  m: [0.50, 1.00, 512] # summary: 434 layers, 20973273 parameters, 20973257 gradients, 72.3 GFLOPs
  l: [1.00, 1.00, 512] # summary: 656 layers, 26230745 parameters, 26230729 gradients, 91.4 GFLOPs
  x: [1.00, 1.50, 512] # summary: 656 layers, 58889881 parameters, 58889865 gradients, 204.3 GFLOPs

image.gif

4.3默认参数开启训练

import warnings
warnings.filterwarnings('ignore')
from ultralytics import YOLO
if __name__ == '__main__':
    model = YOLO('ultralytics/cfg/models/11/yolo11-pose.yaml')
    model.train(data='data/hand_keypoint.yaml',
                cache=False,
                imgsz=640,
                epochs=200,
                batch=8,
                close_mosaic=10,
                device='0',
                optimizer='SGD', # using SGD
                project='runs/train-pose',
                name='exp',
                )

image.gif

4.4 训练结果分析

200个epoch以后，训练结果可视化如下：

image.gif

Pose mAP50 为  0.871  

YOLO11-pose summary (fused): 300 layers, 3,199,712 parameters, 0 gradients, 7.8 GFLOPs
                 Class     Images  Instances      Box(P          R      mAP50  mAP50-95)     Pose(P          R      mAP50  mAP50-95): 100%|██████████| 4/4 [00:04<00:00,  1.23s/it]
                   all         64         64      0.999          1      0.995      0.668      0.922      0.922      0.871      0.638

image.gif

PosePR_curve.png

image.gif

预测结果如下：

image.gif

文章标签：
机器学习/深度学习
计算机视觉
数据格式
JSON
数据可视化
AI小怪兽
目录
相关文章
1761360321912488
|
JSON 人工智能 数据格式
AI计算机视觉笔记二十六：YOLOV8自训练关键点检测
本文档详细记录了使用YOLOv8训练关键点检测模型的过程。首先通过清华源安装YOLOv8，并验证安装。接着通过示例权重文件与测试图片`bus.jpg`演示预测流程。为准备训练数据，文档介绍了如何使用`labelme`标注工具进行关键点标注，并提供了一个Python脚本`labelme2yolo.py`将标注结果从JSON格式转换为YOLO所需的TXT格式。随后，通过Jupyter Notebook可视化标注结果确保准确性。最后，文档展示了如何组织数据集目录结构，并提供了训练与测试代码示例，包括配置文件`smoke.yaml`及训练脚本`train.py`，帮助读者完成自定义模型的训练与评估。
1761360321912488
3487 2
a15723093529-22168
|
存储 XML JSON
开集目标检测-标签提示目标检测大模型(吊打YOLO系列-自动化检测标注)
开集目标检测-标签提示目标检测大模型(吊打YOLO系列-自动化检测标注)
a15723093529-22168
866 2
a15723093529-22168
|
人工智能 JSON 数据可视化
yolov8+动物+姿态识别（训练教程+代码）
yolov8+动物+姿态识别（训练教程+代码）
a15723093529-22168
1368 0
一个处女座的程序猿
|
算法 数据库 计算机视觉
Dataset之COCO数据集：COCO数据集的简介、下载、使用方法之详细攻略
Dataset之COCO数据集：COCO数据集的简介、下载、使用方法之详细攻略
一个处女座的程序猿
38141 1
宁在春
|
XML 数据格式 Python
Labelimg标注自己的数据集，及如何划分训练集和验证集，应用于Yolov5
Labelimg标注自己的数据集，及如何划分训练集和验证集，应用于Yolov5
宁在春
3633 0
Limiiiing
|
9月前
|
计算机视觉
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
Limiiiing
1885 10
YOLOv11改进策略【Neck】| GFPN 超越BiFPN 通过跳层连接和跨尺度连接改进v11颈部网络
zzy的aly
|
机器学习/深度学习 编解码 监控
目标检测实战(六): 使用YOLOv8完成对图像的目标检测任务（从数据准备到训练测试部署的完整流程）
这篇文章详细介绍了如何使用YOLOv8进行目标检测任务，包括环境搭建、数据准备、模型训练、验证测试以及模型转换等完整流程。
zzy的aly
20254 59
目标检测实战(六): 使用YOLOv8完成对图像的目标检测任务（从数据准备到训练测试部署的完整流程）
AI小怪兽
|
机器学习/深度学习 人工智能 文字识别
ultralytics YOLO11 全新发布！（原理介绍+代码详见+结构框图）
本文详细介绍YOLO11，包括其全新特性、代码实现及结构框图，并提供如何使用NEU-DET数据集进行训练的指南。YOLO11在前代基础上引入了新功能和改进，如C3k2、C2PSA模块和更轻量级的分类检测头，显著提升了模型的性能和灵活性。文中还对比了YOLO11与YOLOv8的区别，并展示了训练过程和结果的可视化
AI小怪兽
19434 0
YOLO创新改进大师
|
机器学习/深度学习 编解码 Java
YOLO11创新改进系列：卷积，主干 注意力，C3k2融合，检测头等创新机制（已更新100+）
《YOLO11目标检测创新改进与实战案例》专栏已更新100+篇文章，涵盖注意力机制、卷积优化、检测头创新、损失与IOU优化、轻量级网络设计等多方面内容。每周更新3-10篇，提供详细代码和实战案例，帮助您掌握最新研究和实用技巧。[专栏链接](https://blog.csdn.net/shangyanaf/category_12810477.html)
YOLO创新改进大师
4727 4
YOLO11创新改进系列：卷积，主干 注意力，C3k2融合，检测头等创新机制（已更新100+）
AI小怪兽
|
机器学习/深度学习 数据可视化 自动驾驶
YOLO11-seg分割如何训练自己的数据集（道路缺陷）
本文介绍了如何使用自己的道路缺陷数据集训练YOLOv11-seg模型，涵盖数据集准备、模型配置、训练过程及结果可视化。数据集包含4029张图像，分为训练、验证和测试集。训练后，模型在Mask mAP50指标上达到0.673，展示了良好的分割性能。
AI小怪兽
5215 4

大数据与机器学习

热门文章

最新文章

  • 1
    DataV首次实战分享：教你30分钟创建汽车大屏
  • 2
    数据库开放权限太危险，又不想写API。DataV给你另外一个选择。
  • 3
    身怀绝技的开发者们，快来DataV玩转可视化组件
  • 4
    阿里封神谈hadoop生态学习之路
  • 5
    【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类
  • 6
    你刚吃的兰州牛肉面，背后就藏着大数据
  • 7
    大数据环境下该如何优雅地设计数据分层
  • 8
    odps是什么?
  • 9
    【技术实验】mysql准实时同步数据到Elasticsearch
  • 10
    数据仓库介绍与实时数仓案例
  • 1
    数据驱动决策：把企业的“第二增长引擎”装上去之后，我发现很多事都不一样了
    16
  • 2
    当情绪也能被“量化”：数据如何悄悄改变心理健康分析与治疗
    18
  • 3
    AI 加持，和你的“地图小白”身份说再见！
    33
  • 4
    ICLR2026 ！SAM3重磅来袭：能“听懂人话”的分割模型，性能狂飙2倍
    31
  • 5
    不懂 Attention 不算懂 AI？十大奠基论文（一）：一文读懂《Attention Is All You Need》
    28
  • 6
    官宣 | Apache Fluss (Incubating) 0.8 发布公告
    23
  • 7
    当手环比你更懂你：用大数据“喂聪明”的智能穿戴设备
    40
  • 8
    当系统开始“自愈”：聊聊大数据与AIOps的真正魔力
    48
  • 9
    基于用户评论分析挖掘的旅游景点推荐系统
    46
  • 10
    流、表与“二元性”的幻象
    38

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册
    • 下一篇
    阿里云对象存储OSS收费标准：500G存储118元1年、