自动化学科前沿讲座作业 基于深度学习的工厂人员监测系统设计

简介: 自动化学科前沿讲座作业 基于深度学习的工厂人员监测系统设计

1 背景及应用场景

在工业复杂生产环境下,作业人员的安全问题至关重要。大多数工业企业采用人眼观察视频的方式对作业人员位置进行判断,这种方式长时间会使管理者出现疲劳问题,效率非常低下,遇到安全问题也不能进行及时的处理。采用图像处理以及深度学习技术使计算机代替人眼去检测和定位人员,不仅可以提高检测的准确率,同时也可以减轻监管人员的工作负担。使用计算机视觉技术,在工厂实现工作服穿戴检测、员工到岗和离岗检测、员工疲劳检测等人员管理的场景 AI化,可以提升工厂人员管理效率并降低企业管理成本。


8f489f83335140d7b3f9402af57d2914.png


2 系统预实现目标

通过摄像头实时采集工厂员工视频流数据,基于所采集的视频流数据实现工业生产环境员工穿戴检测、到离岗检测以及疲劳检测等功能。并且将检测结果反应至控制调度中心,由控制调度中心做出相应的记录展示、提示警报和异常处理等。以上所描述的即为该基于深度学习的工厂人员监测系统预实现的技术和功能层面目标,而该系统所要实现的企业效益目标为利用计算机代替管理人员对生产员工进行标准化、智能化管理,进而减少额外的劳动力费用和降低生产事故发生率等。


08776514ba214fea866f2f8593cec6fd.png


3 场景及重难点分析


64e3a72665a54725b5e7a0f269d2de33.pngf25c1d74524d452faed088fec7193eda.png




4 系统设计方案

4.1 系统整体方案


883e21adc8364366b9ee585a7bafc95e.png


4.2 系统技术架构


a1f96e005e1b4b0589c2810a9b774460.png


4.3 主要算法 Yolov3

原始 Yolov3 的网络结构如下图所示,主干网络为 Darknet-53 结构,借鉴ResNet 中的残差结构进行网络地搭建.网络本身为全卷积结构,不包含池化层以及全连接层,张量的尺寸变换通过改变卷积核的步长来实现.特征图在网络中会经历 5 次缩小,最终特征图的尺寸等于输入尺寸的 51/2,即 1/32。


0e57fc0452454cdfacea75b2bbba1ffe.png


Yolov3 借鉴 FPN 的思想,引入了多尺度检测模块,网络的输出层总共包含3 个不同尺度的特征图。具体来说,从主干网络的 8 倍、16 倍以及 32 倍下采样处分别提取特征图进行 3 个尺度的预测,特别地,对于 8 倍和 16 倍下采样的特征图,通过与后一层特征图的上采样(upsampling)结果拼接融合(concat)得到新的特征图进行最终的预测。其中输出层特征图的每一个网格需要预测 3 个目标框,每个预测框(predicted boxes)包含(x,y,w,h,confidence) 5 个参数,另外包含一个类别概率,所以最终每个网格需要预测的参数总共为 18。Yolov3 网络同样引入了 anchor 机制,通过 anchor 的设置引导网络的训练.通过维度聚类算法,对数据集所有样本中真实目标框(ground-truth boxes)的尺寸进行聚类分析,得出 9 组不同的宽高组合,进一步将 9 组数据分为 3 个大组,分别分配给 3 个不同的尺度,每个尺度包含 3 个不同的宽高组合,通过不同尺寸 anchor的设置来实现对不同尺度目标的检测。


4.4 数据采集与模型迭代

原始数据采集:从视频片段中采样得到数据集,模拟违规。

违规规则定义:将业务规则转化成单帧物体检测的规则。

单帧图像违规规则判断:违规是否持续了一段时间(真的发生了违规,还是某一两帧模型的误判)。

在模型迭代优化中,同步进行:①Bad Case 数据的收集与标注 扩充数据集,尽量涵盖数据集中未出现的情景。②检查已有的数据标注 提高数据质量。③将违规行为检测问题分解为“单帧图像的物体检测问题”与“聚合到时间维度的规则

判断问题”。

优化:①通过多次试验,调整规则的阈值条件,使单帧检测效果提升。②通过合适的时间聚合条件,将单帧违规信息聚合到事件维度,提高事件级别的识别准确率(Precision)。③迭代期间模型试运行测试时,收集 Bad Case 数据,追加标注数据进行迭代训练。


997a88fa706a4f4498906456460a3d91.png


5 系统成本估算


299ef087fdef4f55b1a11f01adb126a9.png


6 道德伦理问题

该系统中需要进行人脸识别、人脸特征提取等涉及员工生物特征的采集与存储等处理,因此存在一定的安全隐患与道德伦理问题。人脸识别系统通常是专有的并且保密,但是有专家称,大多数系统涉及一个多阶段过程,该过程通过深度学习对大量数据进行大规模神经网络训练。为了使人脸识别算法正常工作,必须对大型图像数据集进行训练和测试,理想情况下,必须在不同的光照条件和不同的角度多次捕获这些图像,大多数员工未经许可即被收集人脸图像。

人脸识别信息以或显或隐的方式表征着自然人的人格,一旦被非法收集、使用、存储、传输、披露,对信息主体造成歧视、人格尊严贬损和隐私泄露等后果可能伴随一生。因此,属于敏感个人信息的人脸识别信息被非法处理的后果较一般个人信息更为严重,需要法律的特殊保护。

规制人脸识别技术应用带来的风险、严格保护人脸识别信息的前提是明确人脸识别信息在法律上的属性。我国暂未出台专门保护人脸识别信息的法律,保护人脸识别信息主要依据现行法中关于敏感个人信息、一般个人信息和隐私权的规定。个人信息保护法为保护人脸识别信息构建了严格的事前信息处理规则,除此之外还为侵害人脸识别信息的行为规定了罚款、吊销营业执照、损害赔偿等行政、民事乃至刑事责任,以增强对违规使用人脸识别技术、侵害人脸识别信息的行为的威慑力。而对于企业本身来说,必须加强监管、提高技术透明度,防止员工人脸特征等信息的泄露和被非法使用。


相关文章
|
3天前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型:智能海洋监测与保护
使用Python实现深度学习模型:智能海洋监测与保护
19 1
|
18天前
|
机器学习/深度学习 数据挖掘 知识图谱
深度学习之材料科学中的自动化实验设计
基于深度学习的材料科学中的自动化实验设计是一个新兴领域,旨在通过机器学习模型,尤其是深度学习模型,来优化和自动化材料实验的设计流程。
30 1
|
4月前
|
机器学习/深度学习 并行计算 算法
深度学习中的自动化超参数优化方法探究
传统的深度学习模型优化通常依赖于人工调整超参数,这一过程繁琐且耗时。本文探讨了当前流行的自动化超参数优化方法,包括贝叶斯优化、遗传算法和进化策略等,分析它们在提高模型效率和性能方面的应用与挑战。
|
6天前
|
机器学习/深度学习 数据挖掘 数据处理
深度学习之卫星图像中的环境监测
基于深度学习的卫星图像环境监测是指通过使用深度学习模型处理和分析来自卫星的遥感数据,以实现对地球环境的自动化监测和分析。这项技术极大提升了环境监测的效率、精度和规模,应用于气候变化研究、生态保护、自然灾害监测、城市扩张评估等多个领域。
16 0
|
1月前
|
机器学习/深度学习 数据采集 TensorFlow
使用Python实现深度学习模型:智能健康监测与预警
使用Python实现深度学习模型:智能健康监测与预警
137 9
|
1月前
|
机器学习/深度学习 数据可视化 搜索推荐
使用Python实现深度学习模型:智能睡眠监测与分析
使用Python实现深度学习模型:智能睡眠监测与分析
214 2
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习之自动化产品设计
基于深度学习的自动化产品设计利用人工智能技术来优化和加速产品的设计流程。通过深度学习模型对数据进行分析和学习,这种方法能够自动生成、改进和优化产品设计,减少人力资源的投入,提高设计效率和产品质量。
41 4
|
5月前
|
机器学习/深度学习 敏捷开发 存储
深入理解自动化测试中的数据驱动策略深度学习在图像识别中的应用与挑战
【5月更文挑战第20天】 在现代软件开发过程中,自动化测试已成为确保产品质量和加快市场投放速度的关键因素。数据驱动测试(DDT)作为一种高效的自动化测试策略,它允许测试用例与测试数据分离,从而增强测试案例的可重用性并提高测试覆盖率。本文将探讨数据驱动策略的核心概念、实现方法以及在实际测试中的应用,旨在为软件测试工程师提供一种系统化和模块化的测试手段。 【5月更文挑战第20天】 随着人工智能技术的飞速发展,深度学习已经成为了图像识别领域的核心技术。本文将探讨深度学习在图像识别中的应用,以及在实际应用中所面临的挑战。我们将介绍卷积神经网络(CNN)的基本概念,以及如何利用深度学习进行图像分类、目
|
2月前
|
机器学习/深度学习 数据采集 传感器
使用Python实现深度学习模型:智能水质监测与管理
使用Python实现深度学习模型:智能水质监测与管理
78 1
|
2月前
|
机器学习/深度学习 传感器 数据采集
深度学习之生产流程自动化
基于深度学习的生产流程自动化是一种将深度学习技术应用于工业生产流程中,以实现更高效、智能化和自适应的生产管理和控制的方式。通过利用深度学习算法对大规模数据进行分析与预测,生产流程自动化系统可以优化资源分配、提高生产效率、降低成本,并适应快速变化的市场需求。
50 2