自动化学科前沿讲座作业 基于深度学习的工厂人员监测系统设计

简介: 自动化学科前沿讲座作业 基于深度学习的工厂人员监测系统设计

1 背景及应用场景

在工业复杂生产环境下,作业人员的安全问题至关重要。大多数工业企业采用人眼观察视频的方式对作业人员位置进行判断,这种方式长时间会使管理者出现疲劳问题,效率非常低下,遇到安全问题也不能进行及时的处理。采用图像处理以及深度学习技术使计算机代替人眼去检测和定位人员,不仅可以提高检测的准确率,同时也可以减轻监管人员的工作负担。使用计算机视觉技术,在工厂实现工作服穿戴检测、员工到岗和离岗检测、员工疲劳检测等人员管理的场景 AI化,可以提升工厂人员管理效率并降低企业管理成本。


8f489f83335140d7b3f9402af57d2914.png


2 系统预实现目标

通过摄像头实时采集工厂员工视频流数据,基于所采集的视频流数据实现工业生产环境员工穿戴检测、到离岗检测以及疲劳检测等功能。并且将检测结果反应至控制调度中心,由控制调度中心做出相应的记录展示、提示警报和异常处理等。以上所描述的即为该基于深度学习的工厂人员监测系统预实现的技术和功能层面目标,而该系统所要实现的企业效益目标为利用计算机代替管理人员对生产员工进行标准化、智能化管理,进而减少额外的劳动力费用和降低生产事故发生率等。


08776514ba214fea866f2f8593cec6fd.png


3 场景及重难点分析


64e3a72665a54725b5e7a0f269d2de33.pngf25c1d74524d452faed088fec7193eda.png




4 系统设计方案

4.1 系统整体方案


883e21adc8364366b9ee585a7bafc95e.png


4.2 系统技术架构


a1f96e005e1b4b0589c2810a9b774460.png


4.3 主要算法 Yolov3

原始 Yolov3 的网络结构如下图所示,主干网络为 Darknet-53 结构,借鉴ResNet 中的残差结构进行网络地搭建.网络本身为全卷积结构,不包含池化层以及全连接层,张量的尺寸变换通过改变卷积核的步长来实现.特征图在网络中会经历 5 次缩小,最终特征图的尺寸等于输入尺寸的 51/2,即 1/32。


0e57fc0452454cdfacea75b2bbba1ffe.png


Yolov3 借鉴 FPN 的思想,引入了多尺度检测模块,网络的输出层总共包含3 个不同尺度的特征图。具体来说,从主干网络的 8 倍、16 倍以及 32 倍下采样处分别提取特征图进行 3 个尺度的预测,特别地,对于 8 倍和 16 倍下采样的特征图,通过与后一层特征图的上采样(upsampling)结果拼接融合(concat)得到新的特征图进行最终的预测。其中输出层特征图的每一个网格需要预测 3 个目标框,每个预测框(predicted boxes)包含(x,y,w,h,confidence) 5 个参数,另外包含一个类别概率,所以最终每个网格需要预测的参数总共为 18。Yolov3 网络同样引入了 anchor 机制,通过 anchor 的设置引导网络的训练.通过维度聚类算法,对数据集所有样本中真实目标框(ground-truth boxes)的尺寸进行聚类分析,得出 9 组不同的宽高组合,进一步将 9 组数据分为 3 个大组,分别分配给 3 个不同的尺度,每个尺度包含 3 个不同的宽高组合,通过不同尺寸 anchor的设置来实现对不同尺度目标的检测。


4.4 数据采集与模型迭代

原始数据采集:从视频片段中采样得到数据集,模拟违规。

违规规则定义:将业务规则转化成单帧物体检测的规则。

单帧图像违规规则判断:违规是否持续了一段时间(真的发生了违规,还是某一两帧模型的误判)。

在模型迭代优化中,同步进行:①Bad Case 数据的收集与标注 扩充数据集,尽量涵盖数据集中未出现的情景。②检查已有的数据标注 提高数据质量。③将违规行为检测问题分解为“单帧图像的物体检测问题”与“聚合到时间维度的规则

判断问题”。

优化:①通过多次试验,调整规则的阈值条件,使单帧检测效果提升。②通过合适的时间聚合条件,将单帧违规信息聚合到事件维度,提高事件级别的识别准确率(Precision)。③迭代期间模型试运行测试时,收集 Bad Case 数据,追加标注数据进行迭代训练。


997a88fa706a4f4498906456460a3d91.png


5 系统成本估算


299ef087fdef4f55b1a11f01adb126a9.png


6 道德伦理问题

该系统中需要进行人脸识别、人脸特征提取等涉及员工生物特征的采集与存储等处理,因此存在一定的安全隐患与道德伦理问题。人脸识别系统通常是专有的并且保密,但是有专家称,大多数系统涉及一个多阶段过程,该过程通过深度学习对大量数据进行大规模神经网络训练。为了使人脸识别算法正常工作,必须对大型图像数据集进行训练和测试,理想情况下,必须在不同的光照条件和不同的角度多次捕获这些图像,大多数员工未经许可即被收集人脸图像。

人脸识别信息以或显或隐的方式表征着自然人的人格,一旦被非法收集、使用、存储、传输、披露,对信息主体造成歧视、人格尊严贬损和隐私泄露等后果可能伴随一生。因此,属于敏感个人信息的人脸识别信息被非法处理的后果较一般个人信息更为严重,需要法律的特殊保护。

规制人脸识别技术应用带来的风险、严格保护人脸识别信息的前提是明确人脸识别信息在法律上的属性。我国暂未出台专门保护人脸识别信息的法律,保护人脸识别信息主要依据现行法中关于敏感个人信息、一般个人信息和隐私权的规定。个人信息保护法为保护人脸识别信息构建了严格的事前信息处理规则,除此之外还为侵害人脸识别信息的行为规定了罚款、吊销营业执照、损害赔偿等行政、民事乃至刑事责任,以增强对违规使用人脸识别技术、侵害人脸识别信息的行为的威慑力。而对于企业本身来说,必须加强监管、提高技术透明度,防止员工人脸特征等信息的泄露和被非法使用。


相关文章
|
8月前
|
机器学习/深度学习 存储 人工智能
深度学习系统设计(三)(4)
深度学习系统设计(三)
88 0
|
2月前
|
机器学习/深度学习 算法 TensorFlow
基于深度学习的【野生动物识别】系统设计与实现~Python
动物识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对18种动物数据集进行训练,最后得到一个识别精度较高的模型。并基于Django框架,开发网页端操作平台,实现用户上传一张动物图片识别其名称。目前可识别的动物有:'乌龟', '云豹', '变色龙', '壁虎', '狞猫', '狮子', '猎豹', '美洲狮', '美洲虎', '老虎', '蜥蜴', '蝾螈', '蟾蜍', '豹猫', '钝吻鳄', '雪豹','非洲豹', '鬣蜥'。本系统是一个完整的人工智能,机器学习,深度学习项目,包含训练预测代码,训练好的模型,WEB网页端界面,数
148 2
|
3月前
|
机器学习/深度学习 供应链 搜索推荐
机器学习驱动的工厂自动化
机器学习驱动的工厂自动化是一种利用先进的机器学习技术来提升生产效率、降低成本和提高产品质量的智能制造方法。
47 2
|
5月前
|
存储 监控 Linux
|
5月前
|
存储 运维 监控
|
6月前
|
机器学习/深度学习 自然语言处理 机器人
基于深度学习的智能语音机器人交互系统设计方案
**摘要** 本项目旨在设计和实现一套基于深度学习的智能语音机器人交互系统,该系统能够准确识别和理解用户的语音指令,提供快速响应,并注重安全性和用户友好性。系统采用分层架构,包括用户层、应用层、服务层和数据层,涉及语音识别、自然语言处理和语音合成等关键技术。深度学习模型,如RNN和LSTM,用于提升识别准确率,微服务架构和云计算技术确保系统的高效性和可扩展性。系统流程涵盖用户注册、语音数据采集、识别、处理和反馈。预期效果是高识别准确率、高效处理和良好的用户体验。未来计划包括系统性能优化和更多应用场景的探索,目标是打造一个适用于智能家居、医疗健康、教育培训等多个领域的智能语音交互解决方案。
|
5月前
|
机器学习/深度学习 人工智能 5G
【讲座笔记】深度学习在通信领域的应用--Byonghyo Shim教授
此PPT来自韩国首尔国立大学Byonghyo Shim教授,在北京理工大学邀请的线上会议的讲座内容。
73 0
|
8月前
光学雨量计自动化、高精度和实时监测降水量
光学雨量计是一种高精度测量降水量的理想解决方案。随着科技的进步,传统的雨量计存在一些局限性,如需要人工读取数据、易受环境影响等。而光学雨量计则利用光学原理,实现了自动化、高精度和实时监测降水量的功能。
光学雨量计自动化、高精度和实时监测降水量
|
8月前
|
存储 TensorFlow API
深度学习系统设计(二)(5)
深度学习系统设计(二)
99 1
|
8月前
|
机器学习/深度学习 算法 PyTorch
深度学习系统设计(二)(2)
深度学习系统设计(二)
50 1