本文关键词：
关键点检测 关键点估计 姿态估计 YOLO
- 动物姿态估计是计算机视觉的一个研究领域，是人工智能的一个子领域，专注于自动检测和分析图像或视频片段中动物的姿势和位置。
- 目标是确定一种或多种动物的身体部位（例如头部、四肢和尾巴）的空间排列。
- 这项技术具有广泛的应用，从研究动物行为和生物力学到野生动物保护和监测。
在这篇博文中，我们将专门处理狗的关键点估计，并向您展示如何微调 Ultralytics 非常流行的 YOLOv8 姿势模型。
动物姿势估计数据集
对于我们的动物姿势估计实验，我们将使用斯坦福数据集，该数据集包含 120 个品种的狗，分布在 20,580 张图像中。此外，数据集还包含这些图像的边界框注释。
关键点注释需要通过填写谷歌表单从 StandfordExtra 数据集下载。在 12,538 张图像中提供了 20 个狗姿势关键点的关键点注释（每条腿 3 个，每只耳朵 2 个，尾巴、鼻子和下巴 2 个）。
下载的注释将包含以下结构：
dog ├── StanfordExtra_v12.json ├── test_stanford_StanfordExtra_v12.npy ├── train_stanford_StanfordExtra_v12.npy └── val_stanford_StanfordExtra_v12.npy
训练、验证和测试拆分作为原始 StanfordExtra_v12.json 数据的索引提供，这些数据分别包含 6773、4062 和 1703 图像的注释。
还以CSV文件的形式提供了关键点元数据，其中包含动物姿势名称、每个关键点的颜色编码等。但是，它包含 24 个关键点的信息（每个眼睛、喉咙和肩膀各 1 个）。可以使用下图来说明关键点。
为训练和验证数据创建与 YOLOv8 一致的注解
以下几点突出显示了用于微调 Ultralytics 的 YOLOv8 Pose 模型的数据集格式：
用于训练YOLO姿态模型的数据集格式如下：
每个图像一个文本文件：数据集中的每个图像都有一个对应的文本文件，其名称与图像文件相同，扩展名为 .txt。
每个对象一行：文本文件中的每一行对应于图像中的一个对象实例。
每行对象信息：每行包含有关对象实例的以下信息：
对象类索引：表示对象类的整数（例如，0 表示人，1 表示汽车等）。
对象中心坐标：对象中心的 x 和 y 坐标归一化为 0 和 1.
对象宽度和高度：对象的宽度和高度被规范化为介于 0 和 1 之间.
对象宽度和高度：对象的宽度和高度被规范化为介于 0 和 1 之间.
此外，可见性标志与关键点坐标相关联。它可以包含以下三个值之一：
0：未标记
1：已标记但不可见
2：标记和可见。
JSON 注释包含一个额外的布尔可见性标志和前面讨论的关键点坐标。我们将所有可见关键点的标志设置为 2.
下载图像数据和关键点元数据
在开始数据准备之前，我们需要先下载图像数据。让我们定义一个实用程序函数，用于下载和提取包含图像的图像images.tar文件。此外，我们还将下载包含关键点元数据keypoint_definitions.csv，例如动物姿势名
def download_and_unzip(url, save_path): print("Downloading and extracting assets...", end="") file = requests.get(url) open(save_path, "wb"）).write(file.content) try: # Extract tarfile. if save_path.endswith(".tar"): with tarfile.open(save_path, "r") as tar: tar.extractall(os.path.split(save_path)[0]) print("Done") except: print("Invalid file")
所有下载的图像都将提取到 Images 目录中。它具有以下目录结构：
Images/ ├── n02085620-Chihuahua │ ├── n02085620_10074.jpg │ ├── n02085620_10131.jpg │ └── ... ├── n02085782-Japanese_spaniel │ ├── n02085782_1039.jpg │ ├── n02085782_1058.jpg │ └── n02085782_962.jpg └── ...
可视化来自 YOLO 注释的数据
一旦我们创建了与YOLO兼容的数据，我们就可以可视化一些地面实况样本，以确保我们的转换是正确的。
在可视化样本之前，我们可以将 keypoint_definitions.csv 值的十六进制颜色编码映射到 RGB 值。
ann_meta_data = pd.read_csv("keypoint_definitions.csv") COLORS = ann_meta_data["Hex colour"].values.tolist() COLORS_RGB_MAP = [] for COLORS incolor COLORS: R, G, B = int（颜色[：2]， 16）， int（颜色[22：4]， 16 ), ), intintint], (color[(color[4:4(color[:], 16:], 1616) COLORS_RGB_MAP.append({color: (R,G,B)})
动物姿势估计的微调和训练
最后，我们将使用上面定义的配置进行训练。
pose_model = = model = YOLO(train_config.MODEL) pose_model.train(data = train_config.DATASET_YAML, epochs = train_config.EPOCHS, imgsz = data_config.IMAGE_SIZE, batch = data_config.BATCH_SIZE, project = train_config.PROJECT, name = train_config.NAME, close_mosaic = data_config.CLOSE_MOSAIC, mosaic = data_config.MOSAIC, fliplr = data_config.FLIP_LR )
动物姿态估计：超参数设置和微调
Ultralytics 提供以下在 MS-COCO 数据集上预训练的姿势模型，该数据集由 17 个关键点组成.
使用上面的配置，我们获得了 YOLOv8m 的以下指标:
Box 指标：
mAP@50： 0.991
map@50-95：0.922
姿势指标：
mAP@50： 0.937
map@50-95：0.497
下图显示了 YOLOv8m 的指标。
训练结果展示
结论
在本文中，我们了解了如何微调 YOLOv8 以进行动物姿态估计。可以根据此训练自己的数据，也可以在学习中使用模型对动物进行姿态估计！
