【DSW Gallery】基于Top Down的关键点检测示例

简介: EasyCV是基于Pytorch,以自监督学习和Transformer技术为核心的 all-in-one 视觉算法建模工具,并包含图像分类,度量学习,目标检测,姿态识别等视觉任务的SOTA算法。本文以关键点检测为例,为您介绍如何在PAI-DSW中使用EasyCV。

直接使用

请打开基于Top Down的关键点检测示例,并点击右上角 “ 在DSW中打开” 。

image.png

EasyCV关键点检测-TOP-DOWN

  关键点检测任务是计算机视觉任务领域的基础任务之一,包括人脸关键点、人体关键点以及特定物体(如手掌)关键点检测等,在姿态估计、行为识别、人机交互、虚拟现实以及无人驾驶等领域有重要的应用价值。

  本文将介绍如何在pai-dsw基于EasyCV快速进行人体关键点检测模型的训练和推理。

运行环境要求

PAI-Pytorch 1.7/1.8镜像, GPU机型 P100 or V100, 内存 32G

安装依赖包

注:在PAI-DSW docker中无需安装相关依赖,可跳过此1,2步骤, 在本地notebook环境中执行1,2 步骤安装环境

1、获取torch和cuda版本,并根据版本号修改mmcv安装命令,安装对应版本的mmcv和nvidia-dali

import torch
import os
os.environ['CUDA']='cu' + torch.version.cuda.replace('.', '')
os.environ['Torch']='torch'+torch.version.__version__.replace('+PAI', '')
!echo $CUDA
!echo $Torch
[2023-02-03 16:42:27,634.634 dsw-16577-67c64db7b-kslkp:5077 INFO utils.py:30] NOTICE: PAIDEBUGGER is turned off.
cu101
torch1.8.2
# install some python deps
! pip install --upgrade tqdm
! pip install mmcv-full==1.4.4 -f https://download.openmmlab.com/mmcv/dist/cu101/torch1.8.0/index.html
! pip install http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/third_party/nvidia_dali_cuda100-0.25.0-1535750-py3-none-manylinux2014_x86_64.whl

2、安装EasyCV算法包 注:在PAI-DSW docker中预安装了pai-easycv库,可跳过该步骤,若训练测试过程中报错,尝试用下方命令更新easycv版本

#pip install pai-easycv
! echo y | pip uninstall pai-easycv easycv
!pip install pai-easycv
from easycv.apis import *

正式开始

数据准备

本案例我们提供了小型关键点检测的数据集,以便你快速跑通,你可以下载链接数据

图片文件夹结构示例如下, 文件夹路径为./pose

pose/
├── images
    ├── 0001.jpg
    ├── 0002.jpg
    ├── 0003.jpg
    |...
└── train_200.json
└── val_20.json

 执行如下命令下载解压

! wget http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/configs/keypoint/pose_coco.tar.gz && tar -xpf pose_coco.tar.gz

训练模型

这个demo中我们采用litehrnet作为主干网络去进行训练

# 下载config文件
! wget http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/configs/keypoint/litehrnet_30_coco_384x288.py 

为了缩短训练时间,打开配置文件 litehrnet_30_coco_384x288.py,修改total_epoch参数为10, 每隔1次迭代打印一次日志。

# runtime settings
total_epochs = 10
# log config
log_config=dict(interval=1)
# 查看easycv安装位置
import easycv
print(easycv.__file__)
/home/pai/lib/python3.6/site-packages/easycv/__init__.py
!python -m easycv.tools.train litehrnet_30_coco_384x288.py --work_dir work_dir/pose/litehrnet_30_coco

模型导出

# 查看训练产生的pt文件
! ls  work_dir/pose/litehrnet_30_coco/*pth
work_dir/pose/litehrnet_30_coco/CoCoPoseTopDownEvaluator_AP_best.pth
work_dir/pose/litehrnet_30_coco/epoch_10.pth
! python -m easycv.tools.export  litehrnet_30_coco_384x288.py work_dir/pose/litehrnet_30_coco/CoCoPoseTopDownEvaluator_AP_best.pth work_dir/pose/litehrnet_30_coco/export_best.pth
[2023-02-03 18:20:24,874.874 dsw-16577-67c64db7b-kslkp:6643 INFO utils.py:30] NOTICE: PAIDEBUGGER is turned off.
pose/litehrnet_30_coco_384x288.py
load checkpoint from local path: work_dir/pose/litehrnet_30_coco/CoCoPoseTopDownEvaluator_AP_best.pth

模型预测

  在预测之前、我们还要下载一个目标检测模型,top-Down是直接从单个人体中进行关键点的预测,所以我们需要先将我们输入的图片中的人体先一个个检测出来,然后再一个个人体进行关键点检测模型进行检测关键点

!wget http://pai-vision-data-hz.oss-cn-zhangjiakou.aliyuncs.com/EasyCV/configs/pose/epoch_300.pt
Will not apply HSTS. The HSTS database must be a regular and non-world-writable file.
ERROR: could not open HSTS store at '/root/.wget-hsts'. HSTS will be disabled.
--2023-02-03 17:54:09--  https://pai-vision-exp.oss-cn-zhangjiakou.aliyuncs.com/gl_pp/epoch_300.pt
Resolving pai-vision-exp.oss-cn-zhangjiakou.aliyuncs.com (pai-vision-exp.oss-cn-zhangjiakou.aliyuncs.com)... 39.98.20.19
Connecting to pai-vision-exp.oss-cn-zhangjiakou.aliyuncs.com (pai-vision-exp.oss-cn-zhangjiakou.aliyuncs.com)|39.98.20.19|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 36133977 (34M) [application/octet-stream]
Saving to: ‘epoch_300.pt’
epoch_300.pt        100%[===================>]  34.46M  16.3MB/s    in 2.1s    
2023-02-03 17:54:11 (16.3 MB/s) - ‘epoch_300.pt’ saved [36133977/36133977]

下面预测过程中如果出现以下报错,请手动卸载mmdet,至终端运行 pip uninstall mmdet

KeyError: 'YOLOXLrUpdaterHook is already registered in hook'
from PIL import Image
import numpy as np
from easycv.predictors.pose_predictor import TorchPoseTopDownPredictorWithDetector
# 修改output_ckpt指向
pose_model_path = 'work_dir/pose/litehrnet_30_coco/export_best.pth'
detection_model_path = 'epoch_300.pt'
model_path = ','.join((pose_model_path, detection_model_path))
model_config={
                'pose': {
                    'bbox_thr': 0.3,
                    'format': 'xywh'
                },
                'detection': {
                    'model_type': 'TorchYoloXPredictor'
                }
            }
fe = TorchPoseTopDownPredictorWithDetector(model_path=model_path, model_config=model_config)
input_img = 'small_coco/images/000000012754.jpg'
input_data_list = [np.asarray(Image.open(input_img))]
results = fe.predict(input_data_list)[0]
print(results['pose_results'])
print(results['pose_results'][0]['keypoints'].shape)
/home/pai/lib/python3.6/site-packages/easycv/predictors/pose_predictor.py:437: DeprecationWarning: Call to deprecated class TorchYoloXPredictor (Please use YoloXPredictor.).
  detection_model_path, model_config=model_config['detection'])
reparam: 0
load checkpoint from local path: epoch_300.pt
/home/pai/lib/python3.6/site-packages/easycv/datasets/detection/pipelines/mm_transforms.py:1447: DeprecationWarning: pad_val of float type is deprecated now, please use pad_val=dict(img=(114.0, 114.0, 114.0), masks=(114.0, 114.0, 114.0), seg=255) instead.
  f'masks={pad_val}, seg=255) instead.', DeprecationWarning)
/home/pai/lib/python3.6/site-packages/easycv/datasets/detection/pipelines/mm_transforms.py:1447: DeprecationWarning: pad_val of float type is deprecated now, please use pad_val=dict(img=(114.0, 114.0, 114.0), masks=(114.0, 114.0, 114.0), seg=255) instead.
  f'masks={pad_val}, seg=255) instead.', DeprecationWarning)
相关实践学习
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
架构师 Java 数据库连接
Java异常处理的20个最佳实践:告别系统崩溃
你是否在为如何处理异常而困扰? 你是否曾被面试官问道Java异常处理的最佳实践有哪些? 本文汇总了Java异常处理的20个最佳实践:让你告别系统崩溃,面试游刃有余
1911 2
Java异常处理的20个最佳实践:告别系统崩溃
|
存储 算法 程序员
【期末计算机组成原理速成】第三章:存储器
【期末计算机组成原理速成】第三章:存储器
1021 0
|
1月前
|
人工智能 监控 安全
韩国金融行业 AI 辅助网络攻击事件分析与治理研究
2026年10月,韩国七家金融机构遭AI辅助网络攻击,超6.8万人信息泄露。攻击聚焦防护薄弱的外围系统,暴露核心与外围安全失衡、第三方风险失控及传统网络隔离失效等结构性短板。事件凸显AI正重塑攻防范式,推动监管加速构建AI驱动主动防御体系。(239字)
384 0
|
4月前
|
人工智能 数据可视化 安全
2026 开源 AI Agent 工具选型指南:搜索增强工具可作为配套选型选项
2026年,开源AI Agent生态成熟,但外部信息获取能力普遍薄弱。中国团队研发的搜索增强工具AnySearch登顶Product Hunt周榜,支持MCP/REST/Skill多协议接入,覆盖金融、法律等20+垂直领域,输出结构化Markdown结果,兼顾专业性与安全性,成为开源Agent落地的关键配套组件。
|
5月前
|
人工智能 编解码 物联网
设计师的AI生产力革命:阿里云通义AIGC平台完全指南
本文面向平面/UI/UX设计师、插画师等视觉工作者,零门槛讲解阿里云通义AIGC平台:解析Stable Diffusion、ComfyUI、LoRA、50万GU等核心概念,手把手教学注册→Prompt撰写→出图→工作流搭建,覆盖电商图、海报、品牌设计等六大实战场景,助你从执行者升级为创意指挥官。(239字)
|
人工智能 自然语言处理 数据可视化
通义灵码保姆级教程:从数据读取、清洗、结合大模型分析、可视化、生成报告全链路
本课程通过通义灵码实现零代码数据分析全流程,涵盖数据读取、清洗、可视化、报告生成及内容仿写,无需编程基础,轻松掌握从CSV导入到PDF报告输出的实战技能。
|
设计模式 机器学习/深度学习 人工智能
AI-Native (AI原生)图解+秒懂: 什么是 AI-Native 应用(AI原生应用)?如何设计一个 AI原生应用?
AI-Native (AI原生)图解+秒懂: 什么是 AI-Native 应用(AI原生应用)?如何设计一个 AI原生应用?
|
机器学习/深度学习 人工智能 监控
解锁强大算力:GPU云服务器入门与实践指南
在数据驱动的时代,我们常常会遇到对计算能力要求极高的任务,例如复杂的科学计算、精美的图形渲染或前沿的人工智能模型训练。这时,传统的计算资源往往会显得力不从心。而GPU计算的引入,正是为了打破这一瓶颈。
|
数据采集 搜索推荐 API
速来!小红书电商 API 接口,解锁种草数据新玩法
小红书电商API助力开发者高效获取种草数据,涵盖内容推荐、用户行为等核心字段。本文详解API调用、数据清洗与分析技巧,并提供Python实战代码,解锁个性化推荐、市场趋势预测等创新应用,助你快速掌握数据驱动玩法。(238字)
1019 0

热门文章

最新文章