【一步步开发AI运动小程序】十、姿态动作相似度比较

本文涉及的产品
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,视频资源包5000点
简介: 本文介绍如何利用“云智AI运动识别小程序插件”开发AI运动小程序,重点讲解姿态动作相似度比较功能的运用,包括样本动作帧的采集和姿态相似度的计算方法,以及在组合运动中的应用实例。

随着人工智能技术的不断发展,IT大厂大厂纷纷推出相关产品,如“乐动力”、“天天跳绳”AI运动APP,让云上运动会、线上运动会、健身打卡、AI体育指导等概念空前火热。那么,能否将这些在APP成功应用的场景搬上小程序,分享这些概念的红利呢?本系列文章就带您一步一步从零开始开发一个AI运动小程序,本系列文章将使用“云智AI运动识别小程序插件”,请先行在微信服务市场官网了解详情。

在姿态、动作、运动检测时,采用检测规则计算器虽然非常便捷了,但是为了进一步减少开发者在运动适配中的工作量,方案还提供了一个姿态动作相似度比较功能,本篇就为您介绍此功能的运用。

一、采集样本动作帧

在进行姿态比较前,需要采集样本动作帧的人体关键点数据,采集样本帧推荐使用们的“姿态调试的辅助桌面工具”,具体使用请参考上篇工具的使用。

二、执行姿态比较

姿态相似度比较能力由calc.PoseComparer类提供。


//样本动作人体关键点
const sample = 
 [{
   y:95.41808288282594,x:214.42673274576924,score:0.51611328125,name:"nose"},
 {
   y:84.61684727250136,x:221.80983627909686,score:0.7265625,name:"left_eye"},
 {
   y:87.59059985661885,x:202.12153237356293,score:0.59130859375,name:"right_eye"},
 {
   y:92.85449529945058,x:234.93538334278358,score:0.814453125,name:"left_ear"},
 {
   y:99.07546188234281,x:188.58581196413604,score:0.6806640625,name:"right_ear"},
 {
   y:149.86859452983884,x:271.3040866650822,score:0.7246093153953552,name:"left_shoulder"},
 {
   y:162.78905492065545,x:158.09624324078422,score:0.82666015625,name:"right_shoulder"},
 {
   y:236.41516213602512,x:280.8747980656871,score:0.728515625,name:"left_elbow"},
 {
   y:246.8062369181066,x:156.3188420992395,score:0.55859375,name:"right_elbow"},
 {
   y:305.46100866896046,x:286.61722490605007,score:0.6591796875,name:"left_wrist"},
 {
   y:313.80120003234475,x:152.9006975047454,score:0.70849609375,name:"right_wrist"},
 {
   y:304.5039375289,x:251.342317172392,score:0.87646484375,name:"left_hip"},
 {
   y:303.68360752741575,x:189.6796075527766,score:0.8740234375,name:"right_hip"},
 {
   y:431.38422581120494,x:237.66987231438497,score:0.70703125,name:"left_knee"},
 {
   y:430.01698132540423,x:189.6796075527766,score:0.8017578125,name:"right_knee"},
 {
   y:529.8258287888553,x:229.19295650242066,score:0.6884765625,name:"left_ankle"},
 {
   y:534.747908937738,x:201.71134233782658,score:0.578125,name:"right_ankle"}];

//当前帧动作
const frame = 
 [{
   y:154.06250001297832,x:258.7499999883252,score:0.728515625,name:"nose"},
 {
   y:143.12500001305142,x:254.37499998835446,score:0.56298828125,name:"left_eye"},
 {
   y:143.75001908653357,x:255.937499988344,score:0.69482421875,name:"right_eye"},
 {
   y:143.984394086532,x:229.99999998851743,score:0.43115234375,name:"left_ear"}
 ,{
   y:146.17187501303107,x:236.09374998847667,score:0.4919433891773224,name:"right_ear"},
 {
   y:201.4062690861481,x:205.9375190621646,score:0.51416015625,name:"left_shoulder"},
 {
   y:202.03125001265758,x:227.96874998853102,score:0.66259765625,name:"right_shoulder"},
 {
   y:281.25001908561427,x:234.6874999884861,score:0.26416015625,name:"left_elbow"},
 {
   y:270.6250190856853,x:254.06249998835656,score:0.278076171875,name:"right_elbow"},
 {
   y:246.09376908584932,x:289.06249998812257,score:0.1997070610523224,name:"left_wrist"},
 {
   y:238.43750001241418,x:300.62499998804526,score:0.50927734375,name:"right_wrist"},
 {
   y:321.5624618648858,x:218.59376906208004,score:0.58154296875,name:"left_hip"},
 {
   y:323.43750001184594,x:224.06249998855716,score:0.5615234375,name:"right_hip"},
 {
   y:453.43750001097675,x:217.34376906208837,score:0.6103515625,name:"left_knee"},
 {
   y:455.6250000109622,x:214.06249998862396,score:0.51416015625,name:"right_knee"},
 {
   y:572.5000000101808,x:215.31249998861563,score:0.403564453125,name:"left_ankle"},
 {
   y:593.1250000100429,x:216.0937499886104,score:0.52294921875,name:"right_ankle"}];

//新建比较器,比较
 const AiSport = requirePlugin("aiSport");
 const poseComparer = new AiSport.calc.PoseComparer();
 const result = poseComparer.compare(sample, frame);
 console.log(result);

//输出结果
//{items:
//         [{key:"head",score:0.4327263684686711,summary:"头部偏转相似度"},
//          {key:"trunk",score:0.8407704975917485,summary:"躯干形态相似度"},
//          {key:"left_hand",score:0.2155245751055277,summary:"左手相似度"},
//          {key:"right_hand",score:0.21361728579451628,summary:"左手相似度"},
//          {key:"left_foot",score:0.5147016736506456,summary:"左脚相似度"},
//          {key:"right_foot",score:0.5190758118853293,summary:"右脚相似度"}],
// score:0.5110266728697409
//}

三、在组合运动中的应用

有的运动不只一个动作,比如开合跳,可以拆解成开、合两个动作,分别取样本帧,进行比较即可;如果是局部脚体动作,可以不取整体评分,可以取指定肢体相似度值进行比较。

相关文章
|
12天前
|
人工智能 移动开发 JavaScript
如何用uniapp打包桌面客户端exe包,vue或者uni项目如何打包桌面客户端之electron开发-优雅草央千澈以开源蜻蜓AI工具为例子演示完整教程-开源代码附上
如何用uniapp打包桌面客户端exe包,vue或者uni项目如何打包桌面客户端之electron开发-优雅草央千澈以开源蜻蜓AI工具为例子演示完整教程-开源代码附上
|
19天前
|
人工智能 自然语言处理 Java
【100%好礼】诚邀体验SoFlu-JavaAl开发助手,重塑AI编码价值
在这个数字化时代,软件开发任务繁重,飞算科技推出SoFlu-JavaAl开发助手,诚邀您体验AI编码新境界。它不仅生成代码,还通过自然语言理解需求,精准生成完整工程源码,大幅缩短设计工期,提升效率。SoFlu-JavaAl支持一键构建Java Maven工程,轻松合并老项目,快速响应需求变更。参与体验还有机会获多重好礼!
|
9天前
|
人工智能 开发框架 安全
Smolagents:三行代码就能开发 AI 智能体,Hugging Face 开源轻量级 Agent 构建库
Smolagents 是 Hugging Face 推出的轻量级开源库,旨在简化智能代理的构建过程,支持多种大语言模型集成和代码执行代理功能。
205 69
Smolagents:三行代码就能开发 AI 智能体,Hugging Face 开源轻量级 Agent 构建库
|
5天前
|
人工智能 前端开发 程序员
通义灵码 AI 程序员全面上线,能和人类协作完成复杂开发任务
1 月 8 日消息,阿里云通义灵码 AI 程序员已全面上线,成为全球首个同时支持 VS Code、JetBrains IDEs 开发工具的 AI 程序员产品。此次上线的 AI 程序员相比传统 AI 辅助编程工具,能力更全面,可以让开发者以更高效、更沉浸的方式完成编码任务,通过全程对话协作的方式,就能完成从 0 到 1 的业务需求开发、问题修复、单元测试批量生成等复杂编码任务。
209 65
|
4天前
|
数据采集 人工智能 算法
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
Seer是由上海AI实验室与北大等机构联合推出的端到端操作模型,结合视觉预测与动作执行,显著提升机器人任务成功率。
41 20
Seer:上海 AI Lab 与北大联合开源端到端操作模型,结合视觉预测与动作执行信息,使机器人任务提升成功率43%
|
4天前
|
人工智能 编解码 自然语言处理
Aria-UI:港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型,整合动作历史信息实现更加准确的定位
Aria-UI 是香港大学与 Rhymes AI 联合开发的多模态模型,专为 GUI 智能交互设计,支持高分辨率图像处理,适用于自动化测试、用户交互辅助等场景。
38 11
Aria-UI:港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型,整合动作历史信息实现更加准确的定位
|
11天前
|
存储 人工智能 开发框架
Eliza:TypeScript 版开源 AI Agent 开发框架,快速搭建智能、个性的 Agents 系统
Eliza 是一个开源的多代理模拟框架,支持多平台连接、多模型集成,能够快速构建智能、高效的AI系统。
105 8
Eliza:TypeScript 版开源 AI Agent 开发框架,快速搭建智能、个性的 Agents 系统
|
20天前
|
人工智能 前端开发 Java
Spring AI Alibaba + 通义千问,开发AI应用如此简单!!!
本文介绍了如何使用Spring AI Alibaba开发一个简单的AI对话应用。通过引入`spring-ai-alibaba-starter`依赖和配置API密钥,结合Spring Boot项目,只需几行代码即可实现与AI模型的交互。具体步骤包括创建Spring Boot项目、编写Controller处理对话请求以及前端页面展示对话内容。此外,文章还介绍了如何通过添加对话记忆功能,使AI能够理解上下文并进行连贯对话。最后,总结了Spring AI为Java开发者带来的便利,简化了AI应用的开发流程。
264 0
|
14天前
|
开发框架 小程序 前端开发
圈子社交app前端+后端源码,uniapp社交兴趣圈子开发,框架php圈子小程序安装搭建
本文介绍了圈子社交APP的源码获取、分析与定制,PHP实现的圈子框架设计及代码编写,以及圈子小程序的安装搭建。涵盖环境配置、数据库设计、前后端开发与接口对接等内容,确保平台的安全性、性能和功能完整性。通过详细指导,帮助开发者快速搭建稳定可靠的圈子社交平台。
123 18
|
27天前
|
人工智能 小程序 API
【一步步开发AI运动小程序】十七、如何识别用户上传视频中的人体、运动、动作、姿态?
【云智AI运动识别小程序插件】提供人体、运动、姿态检测的AI能力,支持本地原生识别,无需后台服务,具有速度快、体验好、易集成等优点。本文介绍如何使用该插件实现用户上传视频的运动识别,包括视频解码抽帧和人体识别的实现方法。

热门文章

最新文章