【玩转Modelscope】我XXX没有开挂！

2022-08-11 28735

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

交互式建模 PAI-DSW，每月250计算时 3个月

模型在线服务 PAI-EAS，A10/V100等 500元 1个月

模型训练 PAI-DLC，100CU*H 3个月

简介： 本文介绍了一种使用达摩院人体2D关键点检测模型对图片进行处理，识别出图片中人体关键点的方法。此模型可应用于射击游戏中，在达摩院强大图像识别能力的加持下，结合自动截屏和移动鼠标等辅助功能，让你成为射击游戏里的“神枪手”！

1. 简介

本文介绍了一种使用达摩院人体2D关键点检测模型对图片进行处理，识别出图片中人体关键点的方法。此模型可应用于射击游戏中，在达摩院强大图像识别能力的加持下，结合自动截屏和移动鼠标等辅助功能，让你成为射击游戏里的“神枪手”！

2. 操作步骤

参考快速开始，里面有一些关于ModelScope的基本介绍

2.1 环境准备

为了更快的体验产品，使用了ModelScope提供的远程环境，即Notebook进行开发，更加便捷。打开Notebook还挺慢的，需要几分钟等待时间。
如果本地测试，也可以先安装依赖：

# 深度学习依赖
pip install torch torchvision torchaudio
# modelscope模型依赖
pip install "modelscope[cv]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

2.2 模型准备

本文涉及到的模型包括：

达摩院人体2D关键点检测模型：https://modelscope.cn/#/models/damo/cv_hrnetv2w32_body-2d-keypoints_image/summary

2.3 图片准备

我们找一张有人物的截图图片作为模型调试的实验对象：https://unblocked-games.s3.amazonaws.com/media/posts/1/512-2.jpg

2.4 模型调试

调用达摩院人体2D关键点检测模型代码

importnumpyasnpfrommodelscope.pipelinesimportpipelinefrommodelscope.utils.constantimportTasksfrommodelscope.outputsimportOutputKeysmodel_id='damo/cv_hrnetv2w32_body-2d-keypoints_image'body_2d_keypoints=pipeline(Tasks.body_2d_keypoints, model=model_id)
image_path_or_url='https://unblocked-games.s3.amazonaws.com/media/posts/1/512-2.jpg'output=body_2d_keypoints(image_path_or_url)
poses=np.array(output[OutputKeys.POSES])
scores=np.array(output[OutputKeys.SCORES])
boxes=np.array(output[OutputKeys.BOXES])
print('=== poses ===')
print(poses)
print('=== scores ===')
print(scores)
print('=== boxes ===')
print(boxes)

模型结果如下，其中poses[0][0]对应的是第一个人物头部的坐标，其余同理，可以自行摸索

===poses===[[[142.0859375252.0140686] # 让你的鼠标瞄准这个坐标就完事了！  [149.9296875271.6234436]
  [134.2421875275.5453186]
  [130.3203125302.9984436]
  [134.2421875295.1546936]
  [161.6953125271.6234436]
  [149.9296875302.9984436]
  [130.3203125295.1546936]
  [138.1640625334.3734436]
  [130.3203125385.3578186]
  [134.2421875424.5765686]
  [157.7734375334.3734436]
  [157.7734375393.2015686]
  [161.6953125444.1859436]
  [146.0078125334.3734436]]]
===scores===[[0.8917050.877682150.78836040.443730680.540117440.90697530.86034690.843778130.880357270.8770150.90723520.889524460.866058950.83708550.9151828 ]]
===boxes===[[[108.75222.6000061]
  [180.25473.3999939]]]

3. 结果展示

由于模型输出是一堆坐标，我们借用一小段代码对结果进行可视化：

frommodelscope.preprocessors.imageimportLoadImageimg=LoadImage()(image_path_or_url)['img']
img=LoadImage.convert_to_ndarray(img)
# 画个方框把人框住cv2.rectangle(img, boxes[0][0].astype(int), boxes[0][1].astype(int), (0, 255, 0), 1)
# 标注人体15点，其中0是头部foriinrange(15):
cv2.circle(img, poses[0][i].astype(int), 1, (0, 0, 255), 3)
cv2.imwrite('result.png', img)

4. 串联应用（课外阅读）

通过自动截屏+人体关键点检测+自动移动鼠标，我们可以在射击游戏过程中实现“0秒锁头”，斗宗强者，恐怖如斯！

4.1 自动截屏

参考https://blog.csdn.net/sinat_38682860/article/details/109388556

4.2 自动移动鼠标

参考https://zhuanlan.zhihu.com/p/132694910

5. 结语

标题是“我XXX没有开挂！”，可是这篇文章确实是在教大家作弊了，强烈不建议在公平对抗的环境中使用。在一些其他场景下，比如识别过马路的行人、动态建模虚拟形象等，达摩院模型确实是提升效率的神器。

最后不得不感叹，达摩院模型真强大！