LabVIEW通过嘴唇图像识别为残疾人士开发文本输入系统

简介: LabVIEW通过嘴唇图像识别为残疾人士开发文本输入系统

LabVIEW通过嘴唇图像识别为残疾人士开发文本输入系统


近年来,计算机已经成为现代人日常生活中的一种信息器具。人们可以使用计算机来处理复杂的文件,获取新信息并在线购物等。但是,上面讲的使用电脑的所有好处对普通人来说都很方便,残疾人总是无法享受电脑的现代生活。


许多残疾人辅助设备都是逐案设计的,如眼控鼠标、头控鼠标、使用单按钮的摩尔斯电码文本输入系统等。虽然这些辅助设备可以为使用计算机提供禁用的通信接口,但有一个共同的缺陷,即用户必须佩戴某种辅助设备的附件。该缺陷可能会引起残疾人的不适,他们通常长期继续使用这些辅助设备。


17df5c803d508f9982d6b19ddd9dba58.png


为了解决上述问题,设计了一种利用数字图像处理技术开发的辅助器件系统。使用辅助设备系统时,无需佩戴任何类型的附件。实现一个面部跟踪系统,根据嘴唇在脸上的相对位置执行嘴唇图像提取。嘴张或闭嘴的状态可以通过图像上上唇和下唇之间的相应垂直距离来识别。一旦检测到口开或闭嘴的状态,分别表示逻辑“1”或“0”,数据将通过并行端口接口传输到摩尔斯电码文本输入系统。应用图像识别技术检测嘴巴张开或闭嘴的状态,以取代我们系统中的机械按钮。此外,文本输入系统包括PS2键盘接口和RS232鼠标接口来连接PC。因此,可以达到使用嘴唇图像识别来控制计算机的目的。对于残疾人来说,使用图像识别系统来控制计算机会更加方便和舒适。


0baecc8a6dc6dd11789600729a4f68c8.png


人脸跟踪是预处理捕获图像的一个非常重要的步骤。准确提取嘴唇图像对于进一步的嘴唇识别是必要的。必须找到一种实时面部跟踪算法,该算法始终可以在捕获的图像序列中定位面部。


5888a4ce07009e73e05dc334e9befb52.png



人脸跟踪算法包括两个步骤:人脸检测和人脸验证。前一个过程将 RGB 类型的图像传输到 HSL 类型的图像。 此过程还减少了光强度变化的影响。接下来,使用HSL型图像的色相和饱和度信息进行阈值运算,以获得图像序列中的肤色范围。最后,使用了一些形态学操作,即侵蚀、扩张和凸壳来获得最大的肤色范围。面部跟踪的后一个过程包括确定执行面部验证的最大肤色范围。在此阶段,在最大肤色范围内与预定义的嘴唇图像图案进行了模式匹配操作。如果嘴唇图像区域在最大肤色范围内找到,则意味着此最大肤色范围是面部。相反,则意味着范围不是人脸,并且将放弃面部跟踪。


根据嘴唇在一系列图像中的相对位置来执行嘴唇图像提取,必须提前确定面部区域。面部和CCD相机之间的距离是可变的,因此应更改图像中皮肤颜色的最大范围。为了克服这个问题,按比例定义嘴唇范围的相对位置,以肤色的最大面积的宽度来分配嘴唇面积。


在嘴唇范围的提取和分配过程后获得完整的嘴唇图像。定义并提取张开或闭上嘴时上唇和下唇之间区域的轮廓。通过测量上唇和下唇之间的深黑色范围的方法,以识别张嘴或闭嘴的状态。


首先,对嘴唇图像中的肤色范围和深黑色范围进行ROB多阈值运算,然后可以得到两个二进制图像,即二值化。接下来,对显示肤色区域的二进制图像执行反向操作。最后,对显示肤色区域的二值图像和显示深黑色区域的二值图像执行逻辑AND运算,然后可以明显地获得上唇和下唇之间的深黑色区域。


当获得上唇和下唇之间深黑色区域的轮廓时,可以识别嘴巴张开或闭嘴的状态。定义三条直线来观察灰度的变化。然后,记录两个端点之间的相对距离,代表与深黑色区域轮廓相交的每条直线的边缘点。接下来,设置三个距离阈值。当每条直线上两个端点之间的相对距离分别大于相应的预定义阈值时,嘴巴将被识别为嘴张开状态。另一方面,嘴巴将被承认为嘴闭的状态。


一旦获得了张嘴或闭嘴的信息,可以将这些信息传输到摩尔斯电码文本输入系统,以在PC上执行文本输入的功能。

相关文章
|
3月前
|
机器学习/深度学习 算法 TensorFlow
动物识别系统Python+卷积神经网络算法+TensorFlow+人工智能+图像识别+计算机毕业设计项目
动物识别系统。本项目以Python作为主要编程语言,并基于TensorFlow搭建ResNet50卷积神经网络算法模型,通过收集4种常见的动物图像数据集(猫、狗、鸡、马)然后进行模型训练,得到一个识别精度较高的模型文件,然后保存为本地格式的H5格式文件。再基于Django开发Web网页端操作界面,实现用户上传一张动物图片,识别其名称。
111 1
动物识别系统Python+卷积神经网络算法+TensorFlow+人工智能+图像识别+计算机毕业设计项目
|
17天前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
100 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
4月前
|
数据采集 机器学习/深度学习 PyTorch
PyTorch 与计算机视觉:实现端到端的图像识别系统
【8月更文第29天】计算机视觉是人工智能领域的重要分支之一,其应用广泛,从自动驾驶汽车到医学影像分析等。本文将介绍如何使用 PyTorch 构建和训练一个端到端的图像分类器,并涵盖数据预处理、模型训练、评估以及模型部署等多个方面。
96 1
|
24天前
|
机器学习/深度学习 人工智能 TensorFlow
探索深度学习与计算机视觉的融合:构建高效图像识别系统
探索深度学习与计算机视觉的融合:构建高效图像识别系统
38 0
|
3月前
|
机器学习/深度学习 人工智能 算法
植物病害识别系统Python+卷积神经网络算法+图像识别+人工智能项目+深度学习项目+计算机课设项目+Django网页界面
植物病害识别系统。本系统使用Python作为主要编程语言,通过收集水稻常见的四种叶片病害图片('细菌性叶枯病', '稻瘟病', '褐斑病', '稻瘟条纹病毒病')作为后面模型训练用到的数据集。然后使用TensorFlow搭建卷积神经网络算法模型,并进行多轮迭代训练,最后得到一个识别精度较高的算法模型,然后将其保存为h5格式的本地模型文件。再使用Django搭建Web网页平台操作界面,实现用户上传一张测试图片识别其名称。
142 22
植物病害识别系统Python+卷积神经网络算法+图像识别+人工智能项目+深度学习项目+计算机课设项目+Django网页界面
|
1月前
|
机器学习/深度学习 数据采集 算法
利用深度学习优化图像识别系统的性能
利用深度学习优化图像识别系统的性能
40 0
|
3月前
|
机器学习/深度学习 人工智能 算法
鸟类识别系统Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+ResNet50算法模型+图像识别
鸟类识别系统。本系统采用Python作为主要开发语言,通过使用加利福利亚大学开源的200种鸟类图像作为数据集。使用TensorFlow搭建ResNet50卷积神经网络算法模型,然后进行模型的迭代训练,得到一个识别精度较高的模型,然后在保存为本地的H5格式文件。在使用Django开发Web网页端操作界面,实现用户上传一张鸟类图像,识别其名称。
120 12
鸟类识别系统Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+ResNet50算法模型+图像识别
|
3月前
|
机器学习/深度学习 缓存 NoSQL
深度学习在图像识别中的应用与挑战后端开发中的数据缓存策略
本文深入探讨了深度学习技术在图像识别领域的应用,包括卷积神经网络(CNN)的原理、常见模型如ResNet和VGG的介绍,以及这些模型在实际应用中的表现。同时,文章也讨论了数据增强、模型集成等改进性能的方法,并指出了当前面临的计算资源需求高、数据隐私等挑战。通过综合分析,本文旨在为深度学习在图像识别中的进一步研究和应用提供参考。 本文探讨了后端开发中数据缓存的重要性和实现方法,通过具体案例解析Redis在实际应用中的使用。首先介绍了缓存的基本概念及其在后端系统性能优化中的作用;接着详细讲解了Redis的常见数据类型和应用场景;最后通过一个实际项目展示了如何在Django框架中集成Redis,
|
4月前
|
机器学习/深度学习 传感器 人工智能
基于深度学习的图像识别技术在自动驾驶系统中的应用
【8月更文挑战第30天】 随着人工智能的快速发展,特别是深度学习技术在图像处理和模式识别领域的突破进展,自动驾驶系统得以实现更为精准的环境感知与决策。本文深入探讨了基于深度学习的图像识别技术在自动驾驶系统中的应用,并分析了其对提高自动驾驶安全性和可靠性的重要性。通过综合运用卷积神经网络(CNN)、递归神经网络(RNN)等先进算法,我们能够使自动驾驶车辆更好地理解周围环境,从而进行有效的导航与避障。文章还指出了目前该领域面临的主要挑战及未来的发展方向。
|
4月前
|
机器学习/深度学习 传感器 自动驾驶
基于深度学习的图像识别在自动驾驶系统中的应用
【8月更文挑战第30天】 随着人工智能技术的飞速发展,深度学习已成为推动多个领域革新的核心动力。特别是在图像识别任务中,深度学习模型展现出了卓越的性能。本文将探讨一种基于卷积神经网络(CNN)的图像识别方法,并分析其在自动驾驶系统中的实际应用。我们首先回顾深度学习在图像处理方面的基础知识,随后详细介绍一个高效的CNN架构,并通过实验验证该架构在复杂环境下对车辆、行人及其他障碍物的检测和分类能力。最后,讨论了该方法在实际自动驾驶系统中面临的挑战及潜在的改进方向。