【毕设参考】HaaS Python 云端一体AI【手势识别】窝在家里看电视不想动?想换台懒得找遥控器?试试解锁智能设备新玩法

简介: 【毕设参考】HaaS Python 云端一体AI【手势识别】窝在家里看电视不想动?想换台懒得找遥控器?试试解锁智能设备新玩法

手势识别系统

  手势识别在用户交互中越来越广泛的使用,比如通过手势进行隔空点赞,通过手势控制设备等,已成为一种较为基础的功能。


背景知识

  手势识别是用摄像机或摄像头采集含有手势的图像或视频流,并自动在图像中检测和跟踪手势,属于机器视觉中重要的一个应用。本章中使用阿里云视觉智能开放平台的静态手势识别功能来进行识别,目前支持的手势类型有:


ok:确认

palm:手掌

left:握拳且大拇指向左

right:握拳且大拇指向右

good:点赞(即握拳且大拇指向上)

mute:噤声(将食指放在嘴上即被识别为噤声)

down:握拳且大拇指向下

准备

M5Stack Core2开发板 一套

M5Stack Unit CAM摄像头 一个

连接线 一根

涉及到的硬件购买链接如下,仅供参考,本文作者不负责商家发货的品质保障等问题!


名称 数量 参考链接

M5Stack Core2开发版 1 M5Stack Core2

microUSB数据线 1 M5Stack Core2开发套件自带

摄像头 1 M5Stack Unit CAM摄像头

连接线 1条 M5Stack GROVE连接线 请选用10cm长即可

  硬件连线图如下图所示:




云端平台功能开通

在本案例中涉及到云端平台功能都聚合在HaaS云端积木中,所以无需单独使用 对象存储OSS 和 视觉智能开发平台。


  因此,整个步骤分为:


注册阿里云账号并登录阿里云账号;

在HaaS官网中的云端积木控制台创建设备;

推送脚本到M5Stack Core2并运行手势识别;

注册阿里云账号

  进入阿里云官网,注册阿里云账号 。


HaaS云端积木平台

登录HaaS官网

  进入阿里云官网,HaaS官网 。




进入HaaS云端积木控制台   

如上图所示,点击右上角的“控制台”,进入HaaS云端积木的控制台页面。



创建设备

  在左侧导航栏设备管理中,可以看到产品和设备选项,点击“产品”,可以看到平台默认创建了“haas_正式游客产品”这个产品; 所以开发者只需要创建设备即可。点击“批量添加”, 添加方式为“自动生成”, 申请数量可填为“1”个,即可完成新设备的创建。






获取设备的三元组

  在设备的列表中,新创建的设备上点击“查看”,就可以获得设备的三元组信息,之后这个三元组信息会在设备端代码中使用到。






设备端开发

开发环境

  在进行下一步之前请确保M5StackCore2开发环境已经搭建完毕。详情请参考M5StackCore2快速开始的说明。


创建解决方案

  如下图所示,打开VS Code之后在新建一个基于helloworld的python工程,设定好工程名称(“gesture_recognization”)及工作区路径之后,硬件类型选择m5stackcore2,点击立即创建,创建一个Python轻应用的解决方案。(将下图的项目名字改为“gesture_recognization”)




  下载手势识别并解压,将解压后的所有脚本进行复制到“gesture_recognization”工程根目录中,然后进行如下设定完成设备端代码的开发。


Python脚本的详细说明请参考脚本内嵌的文字注释


修改路由器名称及密码

  修改gesture_recognization工程里main.py中SSID和PWD的值为开发者实际要连接的路由器的名称及密码(请注意名称和密码都需要放在''符号中间)。


# Wi-Fi SSID和Password设置

SSID='Your-AP-SSID'

PWD='Your-AP-Password'

  修改完成之后connect_wifi函数就会连接开发者自己设定的路由器。


修改设备的三元组信息

  按照[获取设备的三元组]获取三元组信息,填入main.py中:


# HaaS设备三元组

productKey = "Your-ProductKey"

deviceName  = "Your-devicename"

deviceSecret  = "Your-deviceSecret"

运行结果

本地查看

  在网络连接成功后,屏幕上将打印出IP地址和"NTP Done",如果迟迟不能显示“NTP Done”,请长按电源键关机同时拔掉USB线重新上电运行。


  推送此脚本到M5Stack之后,串口会周期性的打印如下日志,并且在识别到正确手势后会在屏幕上显示红色“Gesture: good”的字样(这里good表示“good:点赞(即握拳且大拇指向上)”的手势)。


Wi-Fi is connecting...

Wi-Fi is connected

IP: 172.16.2.55

NTP start

NTP done

establish tcp connection with server(host='a1kJJvGN9ko.iot-as-mqtt.cn-shanghai.aliyuncs.com', port=[443])

tcp_connect: can only connect from state CLOSED

success to establish tcp, fd=54

link platform connected

upload--->{'qos': 1, 'payload': '{"version": "1.0", "id": 1, "params": {"ext": "{\\"fileName\\": \\"gesture.jpg\\", \\"fileId\\": \\"jrxlXxCYhEusz6sXJKSa010200\\", \\"filePosition\\": \\"lp\\"}", "eventType": "haas.faas", "eventName": "handGesture", "argInt": 1}}', 'topic': '/sys/a1kJJvGN9ko/3xG1QN7Q0wLxVHfCsZP5/thing/event/hli_event/post'}

get response time : 39

download <----{'msg_id': 1087807190, 'service_id': 'hli_async_service', 'params': '{"ext":"{\\"height\\":127,\\"result\\":\\"success\\",\\"score\\":0.9921875,\\"type\\":\\"good\\",\\"width\\":73,\\"x\\":146,\\"y\\":94}","commandName":"handGestureReply","commandType":"haas.faas","argInt":1}', 'code': 0, 'params_len': 189}

recognize hand gesture : good





相关文章
|
2月前
|
存储 人工智能 开发工具
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
只需要通过向AI助理提问的方式输入您的需求,即可瞬间获得核心流程代码及参数,缩短学习路径、提升开发效率。
1454 4
AI助理化繁为简,速取代码参数——使用python SDK 处理OSS存储的图片
|
2月前
|
人工智能 大数据
书海畅谈:云端读书会第1期,与你共同探索AI的无限可能
为帮助大家更好地学习和交流,特推出「书海畅谈|云端读书会第1期」。首期活动时间为2023年10月10日至10月30日,参与者可通过完成阅读任务赢取精美礼品。本次活动精选《10分钟打造专属AI助手》,无论您是技术小白还是行业专家,都能从中受益。点击链接参与活动,与志同道合的朋友一起探索新知,激发灵感,建立联系。欢迎加入钉群:71215028694,与更多小伙伴互动。
|
1月前
|
存储 人工智能 搜索推荐
Memoripy:支持 AI 应用上下文感知的记忆管理 Python 库
Memoripy 是一个 Python 库,用于管理 AI 应用中的上下文感知记忆,支持短期和长期存储,兼容 OpenAI 和 Ollama API。
95 6
Memoripy:支持 AI 应用上下文感知的记忆管理 Python 库
|
1月前
|
人工智能 自然语言处理 小程序
云端微光,AI启航:低代码开发的智造未来
在技术革新飞速发展的浪潮中,低代码开发与AI技术的结合正在重塑编程的边界。通过亲身体验腾讯云开发 Copilot,本篇文章从初学者视角出发,深度探索了从需求输入到功能实现的整个流程。Copilot 的自然语言解析能力和模块化设计,不仅缩短了开发周期,更让非技术背景的用户也能轻松迈入技术世界。AI 的加持使开发效率倍增,需求转化更加精准;然而,复杂场景中的生成代码质量和高级功能支持也存在优化空间。文章总结了AI辅助开发的技术优势、应用场景与未来发展方向,并探讨了开发者角色在智能化时代的转型,致力于为读者呈现一
53 2
云端微光,AI启航:低代码开发的智造未来
|
20天前
|
机器学习/深度学习 人工智能 数据挖掘
AI精通Python365天第1课,揭秘难易度
学习Python能显著提升就业竞争力,实现工作自动化,增强数据分析、机器学习、Web开发等技能,促进跨领域应用和个人成长。无论是职场新人还是资深人士,掌握Python都能带来正向的职业发展和收入增长,同时回馈社会。通过AI辅助学习Python,从基础代码开始实践,逐步提升编程能力,让技术成为个人发展的强大助力。
25 1
|
1月前
|
机器学习/深度学习 人工智能 算法
强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用
本文探讨了强化学习在游戏AI中的应用,从基本原理、优势、应用场景到具体实现方法,以及Python在其中的作用,通过案例分析展示了其潜力,并讨论了面临的挑战及未来发展趋势。强化学习正为游戏AI带来新的可能性。
93 4
|
1月前
|
人工智能 C语言 Python
AI师傅+通义灵码=零基础小白上手python真·不是梦
作为一名不懂编程的设计师,我一直渴望掌握AI辅助设计。在快刀青衣的推荐下,我尝试了AI师傅和通义灵码,成功写出了第一个Python程序,并理解了编程的基本概念。通过AI师傅的引导和通义灵码的帮助,我顺利完成了Coursera上的Python课程,获得了两张证书。这种学习方式让编程变得不再遥不可及,为我的未来学习打开了新大门。
|
2月前
|
人工智能
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦!
云端问道12期-构建基于Elasticsearch的企业级AI搜索应用陪跑班获奖名单公布啦!
183 2
|
2月前
|
数据采集 人工智能 自然语言处理
AI Agent 金融助理0-1 Tutorial 利用Python实时查询股票API的FinanceAgent框架构建股票(美股/A股/港股) AI Finance Agent
金融领域Finance AI Agents方面的工作,发现很多行业需求和用户输入的 query都是和查询股价/行情/指数/财报汇总/金融理财建议相关。如果需要准确的 金融实时数据就不能只依赖LLM 来生成了。常规的方案包括 RAG (包括调用API )再把对应数据和prompt 一起拼接送给大模型来做文本生成。稳定的一些商业机构的金融数据API基本都是收费的,如果是以科研和demo性质有一些开放爬虫API可以使用。这里主要介绍一下 FinanceAgent,github地址 https://github.com/AI-Hub-Admin/FinanceAgent
|
3月前
|
机器学习/深度学习 人工智能 算法
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
文本分类识别系统。本系统使用Python作为主要开发语言,首先收集了10种中文文本数据集("体育类", "财经类", "房产类", "家居类", "教育类", "科技类", "时尚类", "时政类", "游戏类", "娱乐类"),然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型,并保存为本地的h5格式。然后使用Django开发Web网页端操作界面,实现用户上传一段文本识别其所属的类别。
115 1
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台