项目核心:
- 锅具识别:基于YOLOV5系列算法的锅具识别模型,识别常见5类锅具,基于端侧(RV1709)平台的RKNN推理框架推理速度为24.5FPS。map@0.5:0.95为94.16%;
- 溢锅识别:基于ResNet101模型的溢锅识别算法,设计溢锅均衡采样策略,随机补丁生成图像增强算法,最终推理速度为19.4FPS,验证集准确率达到了97.2%;
- 流量分配:基于背景帧检测的流量分配干扰排除算法,根据左右灶具烹饪情况自动调节左右侧风量,端侧单帧检测速度80-110ms(每隔10帧进行更新);
- 端侧移植:主导RV1109端侧环境搭建、wiki撰写、端侧功能移植工作,最终实现主线程视频流图像生成,子线程需求推理,满足项目需求。 相关技术:
- 摄像头选型:基于油烟机视角下根据烟机高度位置,灶面大小、烹饪器具高度选取合适视场角、分辨率的摄像头。
- 数据集标注:采用非均匀采样策略进行溢锅视频标注采集,保证数据集均衡
- 图像增强:采用特定位置随即补丁方式进行溢锅识别模型训练
- 端侧移植:基于C++的Linux平台下RKNN推理框架的三个功能的移植,采用多线程推理的方式保证各功能的实时性