羡慕《钢铁侠》电影里科技感满满的全息手势交互吗?现在你也可以!试试这款【本地手势识别案例】

简介: 羡慕《钢铁侠》电影里科技感满满的全息手势交互吗?现在你也可以!试试这款【本地手势识别案例】

来这里发现更多有趣案例

HaaS开发框架

HaaS积木方案,赋能生态开发者,让您快速找到自己需要的解决方案,硬件主板与外设,以及各种应用组件。

https://haas.iot.aliyun.com/solution/


       PAJ7620 手势识别传感器接入案例。本案例也包含将手势识别结果上报到物联网平台的设备物模型中的功能,以便后续云侧的业务处理。


1、简介

PAJ7620 模块内部带有一个光学阵列式传感器,其内部算法能够将各种手部动作在其光学阵列中的探测和变化情况,识别为不同的动态手势动作。与拍照在线识别相比,本动态手势识别方案不需要联网,且识别的是动态手势,适合在手势控制需要位移或外形转换的场景中使用,目前支持的手势类型有:


上划

下划

左划

右划

靠近

远离

顺时针

逆时针

挥手

1.1、流程



1.2、准备

任何支持 I2C 接口的开发板1套,本案例以 ESP32 乐鑫开发板作为演示

PAJ7620U2 手势识别模块1个

杜邦线若干,或面包板+跳线若干

涉及到的硬件购买链接如下,仅供参考,本文作者不负责商家发货的品质保障等问题!


名称 数量 参考链接

PAJ7620U2手势识别传感器模块 1 https://item.taobao.com/item.htm?id=618595129787

ESP32-WROOM-32E 1 https://item.taobao.com/item.htm?id=542143157571

蜂鸣器(高电平触发) 1 https://detail.tmall.com/item.htm?id=41251333522

杜邦线或面包板 若干 https://detail.tmall.com/item.htm?id=16513870165

硬件连线图如下图所示:




2、物联网平台

本案例包括将手势识别结果上报物模型功能,所以需要开阿里云通物联网平台。

如果您已经熟悉阿里云物联网平台的基本操作,请通过以下「快速操作指引」完成物联网产品和设备的准备,并跳过「详细操作步骤」章节:


2.1、快速操作指引

注册阿里云账号 并登录 阿里云物联网平台控制台;

创建产品;

编辑产品物模型,导入 物模型描述文件;

创建设备 并查看设备密钥,

如您不熟悉物联网平台的基本操作,请按以下图示,依次完成准备过程:


2.2、详细操作步骤

如已按照「快速操作指引」完成准备,请跳过此章节。


注册阿里云账号 并登录 阿里云物联网平台控制台:




进入产品管理页面,创建产品:






修改产品物模型:




导入 物模型描述文件:








发布物模型:




进入设备管理页面添加设备:




查看设备详情:






查看并记录设备证书:




3、设备端开发

开发环境

请确保 ESP32 开发环境已经搭建完毕。详见 ESP32快速开始。


创建解决方案

 

如下图所示,在Haas Studio中创建项目。先选择左侧的“开发板型号”再从右侧的案例中选择“本地动态手势识别”案例点击“立即创建”即可。




修改 main.py 文件顶部的信息,包括设备接入密钥、 WiFi 名称和密码(请注意,名称和密码都需要放在''符号中间)

######################

#### 请修改此处信息 ####

PRODUCT_KEY = '这里填写产品PK'

DEVICE_NAME = '这里填入设备名称DN'

DEVICE_SECRET = '这里填入设备密钥DS'

WIFI_SSID = 'WiFi名称'

WIFI_PWD = 'WiFi密码'

######################

4、查看结果

在开发板上部署运行脚本,查看结果。

当网络连接或物联网平台连接中或连接失败时,会打印等待中或出错的日志;

当手势识别模块初始化失败时,蜂鸣器会有连续 3 声短鸣提示;

初始化过程一切正常,蜂鸣器会有 1 声长鸣提示,表示手势识别已就绪。


4.1、查看日志

在PAJ7620U2模块前方10~20cm范围内做出手势,查看日志输出结果:


Connecting to WiFi...

Waiting for WiFi connection...

Waiting for WiFi connection...

('192.168.3.49', '255.255.255.0', '192.168.3.1', '192.168.3.1')

WiFi Connected

Connecting to IoT LinkPlatform...

establish tcp connection with server(host='*****.iot-as-mqtt.cn-shanghai.aliyuncs.com', port=[443])

Waiting for IoT Platform connection...

tcp_connect: can only connect from state CLOSED

success to establish tcp, fd=54

ON_CONNECT:  {'code': 0}

IoT Platform connected

Initializing gesture recognizer...

Done

LEFT

DOWN

RIGHT

UP

BACKWARD

FORWARD

CLOCKWISE

ANTICLOCKWISE

WAVE


4.2、查看物模型信息

进入阿里云物联网平台,打开设备的物模型数据,查看上报到物模型的手势识别结果和上报的手势识别事件:


————————————————

版权声明:本文为CSDN博主「HaaS技术社区」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/HaaSTech/article/details/125374175

相关实践学习
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
相关文章
|
JavaScript
vue 语音播报(文字转语音)
vue 语音播报(文字转语音)
928 0
如何用晶体管构建异或门
。XOR ,异或的缩写,它是一种逻辑运算,当高电平输入的数量为奇数时,产生高电平输出;当低电平输入的数量为偶数时,产生低电平输出。这种独特的特性使异或门成为各种应用中的重要组成部分,从简单的二进制算术到复杂的数据加密算法。 在本文中,我们将探讨异或门的内部工作原理,包括其真值表、逻辑符号表示、电路图以及使用晶体管的实际构造。
2770 0
|
7月前
|
机器学习/深度学习 存储 TensorFlow
TensorFlow Lite Micro:嵌入式TinyML系统上的机器学习推理框架——论文深度解析
TensorFlow Lite Micro(TFLM)是专为嵌入式系统设计的轻量级机器学习推理框架,适用于仅有几十KB内存的微控制器。它通过极简架构、模块化设计和内存优化策略,在资源受限设备上高效运行TinyML模型,广泛应用于关键词检测、传感器分析、预测性维护等领域。TFLM支持跨平台部署,并允许硬件厂商提供定制优化,兼顾灵活性与性能。
2027 6
|
11月前
|
机器学习/深度学习 传感器 Web App开发
《探索具身智能机器人视觉-运动映射模型的创新训练路径》
视觉-运动映射模型是实现机器人智能交互与精准行动的核心,如同机器人的“神经中枢”。传统训练方法存在局限,而新兴技术如微软的IGOR框架、UC伯克利的VideoMimic系统和OKAMI方法,通过迁移学习、视频模仿及动作捕捉等手段,让机器人能高效学习人类动作并完成复杂任务。这些创新方法利用大规模数据与先进技术,拓展了机器人在复杂环境中的能力边界,推动其从“机械执行”向“自主决策”进化,为具身智能发展注入新活力。
527 28
|
监控 安全 机器人
电话客服热线系统的详细搭建方案(十大关键要素)
构建高效电话客服系统涉及需求分析、话务量估算、系统规划与设计、多渠道集成、智能化升级和安全措施。需求分析包括客户调查、数据分析、竞争分析和焦点小组讨论,以确定服务模型和规模。系统设计需选择合适的服务模型、技术工具,并设计呼叫流程。多渠道接入与在线客服可提升客户体验,智能化技术如智能语音和文字机器人则提高效率。技术实施涉及硬件和软件选择、系统集成、测试与调整。安全方面,要设计安全策略,实施安全技术,并持续监控。人员培训与管理确保团队能力,运营和优化则关注日常管理、系统优化和后期运维。部署方式包括云端和本地化,租用和自建,各有优劣。电话客服系统对提升客户满意度和企业形象至关重要。
2298 152
|
分布式计算 大数据 数据处理
「大数据」Kappa架构
**Kappa架构**聚焦于流处理,用单一处理层应对实时和批量数据,消除Lambda架构的双重系统。通过数据重放保证一致性,简化开发与维护,降低成本,提升灵活性。然而,资源消耗大,复杂查询处理不易。关键技术包括Apache Flink、Spark Streaming、Kafka、DynamoDB等,适合需实时批量数据处理的场景。随着流处理技术进步,其优势日益凸显。
1021 0
「大数据」Kappa架构
|
机器学习/深度学习 自然语言处理 并行计算
[Bert]论文实现:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
[Bert]论文实现:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
735 1
|
人工智能 缓存 安全
关于32位系统和64位系统的区别
关于32位系统和64位系统的区别
|
前端开发 算法 JavaScript
如何优化前端性能:探索图片压缩与延迟加载技术
本文深入探讨了前端性能优化中的关键问题:图片压缩与延迟加载技术。通过介绍图片压缩的原理和方法,并结合实例说明了如何有效减少图片大小、提升加载速度;同时,详细解析了延迟加载技术的实现原理及其在提高页面加载性能中的作用,为前端开发者提供了实用的优化方案。
|
Shell Python
Python生成PDF文件
Python生成PDF文件
1012 0