羡慕《钢铁侠》电影里科技感满满的全息手势交互吗?现在你也可以!试试这款【本地手势识别案例】

简介: 羡慕《钢铁侠》电影里科技感满满的全息手势交互吗?现在你也可以!试试这款【本地手势识别案例】

来这里发现更多有趣案例

HaaS开发框架

HaaS积木方案,赋能生态开发者,让您快速找到自己需要的解决方案,硬件主板与外设,以及各种应用组件。

https://haas.iot.aliyun.com/solution/


       PAJ7620 手势识别传感器接入案例。本案例也包含将手势识别结果上报到物联网平台的设备物模型中的功能,以便后续云侧的业务处理。


1、简介

PAJ7620 模块内部带有一个光学阵列式传感器,其内部算法能够将各种手部动作在其光学阵列中的探测和变化情况,识别为不同的动态手势动作。与拍照在线识别相比,本动态手势识别方案不需要联网,且识别的是动态手势,适合在手势控制需要位移或外形转换的场景中使用,目前支持的手势类型有:


上划

下划

左划

右划

靠近

远离

顺时针

逆时针

挥手

1.1、流程



1.2、准备

任何支持 I2C 接口的开发板1套,本案例以 ESP32 乐鑫开发板作为演示

PAJ7620U2 手势识别模块1个

杜邦线若干,或面包板+跳线若干

涉及到的硬件购买链接如下,仅供参考,本文作者不负责商家发货的品质保障等问题!


名称 数量 参考链接

PAJ7620U2手势识别传感器模块 1 https://item.taobao.com/item.htm?id=618595129787

ESP32-WROOM-32E 1 https://item.taobao.com/item.htm?id=542143157571

蜂鸣器(高电平触发) 1 https://detail.tmall.com/item.htm?id=41251333522

杜邦线或面包板 若干 https://detail.tmall.com/item.htm?id=16513870165

硬件连线图如下图所示:




2、物联网平台

本案例包括将手势识别结果上报物模型功能,所以需要开阿里云通物联网平台。

如果您已经熟悉阿里云物联网平台的基本操作,请通过以下「快速操作指引」完成物联网产品和设备的准备,并跳过「详细操作步骤」章节:


2.1、快速操作指引

注册阿里云账号 并登录 阿里云物联网平台控制台;

创建产品;

编辑产品物模型,导入 物模型描述文件;

创建设备 并查看设备密钥,

如您不熟悉物联网平台的基本操作,请按以下图示,依次完成准备过程:


2.2、详细操作步骤

如已按照「快速操作指引」完成准备,请跳过此章节。


注册阿里云账号 并登录 阿里云物联网平台控制台:




进入产品管理页面,创建产品:






修改产品物模型:




导入 物模型描述文件:








发布物模型:




进入设备管理页面添加设备:




查看设备详情:






查看并记录设备证书:




3、设备端开发

开发环境

请确保 ESP32 开发环境已经搭建完毕。详见 ESP32快速开始。


创建解决方案

 

如下图所示,在Haas Studio中创建项目。先选择左侧的“开发板型号”再从右侧的案例中选择“本地动态手势识别”案例点击“立即创建”即可。




修改 main.py 文件顶部的信息,包括设备接入密钥、 WiFi 名称和密码(请注意,名称和密码都需要放在''符号中间)

######################

#### 请修改此处信息 ####

PRODUCT_KEY = '这里填写产品PK'

DEVICE_NAME = '这里填入设备名称DN'

DEVICE_SECRET = '这里填入设备密钥DS'

WIFI_SSID = 'WiFi名称'

WIFI_PWD = 'WiFi密码'

######################

4、查看结果

在开发板上部署运行脚本,查看结果。

当网络连接或物联网平台连接中或连接失败时,会打印等待中或出错的日志;

当手势识别模块初始化失败时,蜂鸣器会有连续 3 声短鸣提示;

初始化过程一切正常,蜂鸣器会有 1 声长鸣提示,表示手势识别已就绪。


4.1、查看日志

在PAJ7620U2模块前方10~20cm范围内做出手势,查看日志输出结果:


Connecting to WiFi...

Waiting for WiFi connection...

Waiting for WiFi connection...

('192.168.3.49', '255.255.255.0', '192.168.3.1', '192.168.3.1')

WiFi Connected

Connecting to IoT LinkPlatform...

establish tcp connection with server(host='*****.iot-as-mqtt.cn-shanghai.aliyuncs.com', port=[443])

Waiting for IoT Platform connection...

tcp_connect: can only connect from state CLOSED

success to establish tcp, fd=54

ON_CONNECT:  {'code': 0}

IoT Platform connected

Initializing gesture recognizer...

Done

LEFT

DOWN

RIGHT

UP

BACKWARD

FORWARD

CLOCKWISE

ANTICLOCKWISE

WAVE


4.2、查看物模型信息

进入阿里云物联网平台,打开设备的物模型数据,查看上报到物模型的手势识别结果和上报的手势识别事件:


————————————————

版权声明:本文为CSDN博主「HaaS技术社区」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/HaaSTech/article/details/125374175

相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
3月前
黑神话:悟空中的音效设计与音乐制作
【8月更文第26天】在《黑神话:悟空》这款游戏中,音效和背景音乐是构建沉浸式游戏体验的重要组成部分。本文将探讨游戏音效和背景音乐的创作过程,以及它们如何增强游戏氛围。
404 0
|
机器学习/深度学习 人工智能 自然语言处理
"让科技温暖世界:智能眼镜帮助盲人走向自由"——你是我的眼
"让科技温暖世界:智能眼镜帮助盲人走向自由"——你是我的眼
下一篇
无影云桌面