借力计算机视觉及深度学习,纽卡斯尔大学开发实时、自动化奶牛跛行检测系统

简介: 借力计算机视觉及深度学习,纽卡斯尔大学开发实时、自动化奶牛跛行检测系统

image.png

内容一览:近期,纽卡斯尔大学联合费拉科学有限公司联合开发了一个针对多头奶牛的自动化、实时跛行检测系统。该系统能够按照跛行评分系统将奶牛进行分类,并且准确度高达 94%-100%。目前,该研究成果已发表在《Nature》上。关键词:奶牛跛行 畜牧业 机器学习

因口蹄疫等疾病造成的奶牛跛行对畜牧业而言,已成为一个全球性话题。相关科普显示,它不仅会导致奶牛产奶量降低、繁殖效率下降,还会导致奶牛过早地被淘汰。国家动物健康监测服务奶业报告数据显示,奶牛有 16% 的淘汰率是由跛行引起的。

跛行已成为奶牛业面临的主要危机之一,因此,早监测、早预防成为规模化养殖奶牛中解决奶牛跛行的有效手段。过往,奶牛业一般都采用人工识别的方法,但这一方法存在效率低、成本高、主观性强等弊病,在这种背景下,奶牛业对奶牛跛行的自动化检测技术需求日益强烈。

近期,来自纽卡斯尔大学的 Shaun Barney、Satnam Dlay 以及来自费拉科学有限公司 (Fera Science Ltd) 的 Andrew Crowe 等人联合开发了一个针对多头奶牛的完全自动化、实时跛行检测系统,并可在整个养殖场内进行部署。这一系统利用计算机视觉和深度学习分析摄像机视野内每头奶牛的姿势和步态,检测准确度可达 94%-100%。目前该研究成果已发表在《Nature》上。

论文链接:

https://www.nature.com/articles/s41598-023-31297-1#Sec7

试验数据集

本次试验中,研究人员首先对英国某农场内 250 头奶牛的运动情况进行视频录像,得到了 25 个视频,然后又把每个视频分解为 3,600 个组成帧。其次,研究人员提取了每秒钟中的 1 帧画面进行了标注。并且为了进一步改善网络泛化能力,他们从 Google 中下载了 500 张牛的相关图片,为每个奶牛标注了 15 个关键点,再将这些图片搜索数据和自己的标注数据相结合,得到了一个大约含有 40,000 条标注信息的数据库。

为了用真实数据来评估算法性能,3 名经过 AHDB 认证的观察员同时使用 AHDB 奶牛移动性评分系统对 25 个视频进行了评分,该系统有四个评分等级:0(完全不跛脚)、1(行动稍有不便)、2(跛脚)和 3(严重跛脚),下图显示了由这 3 名观察员的评分分布情况。

图中显示,25.2% 的奶牛跛行评分为 0(橙色),43.2% 的奶牛跛行评分为 1(绿色),25.6% 的奶牛跛行得分为 2(红色),6.0% 的奶牛跛行评分为 3(灰色)。

试验过程及成果

本研究使用摄像头和深度卷积神经网络 (Mask-RCNN 算法、SORT 算法和 CatBoost 算法) 来检测多头奶牛的姿态。研究人员通过追踪视频中奶牛背部、头部的关键点,根据提取相关特征指标进行分析,从而检测出跛行程度。

姿态分析算法

研究人员将 Mask-RNN(实体分割算法)中的一部分进行自研后,构建了一个姿态分析算法来对每头奶牛进行姿态估计。该算法使用了来自 Google 数据集中的 500 张图像以及 250 头牛中的 189 头牛的图像来进行训练,而剩余的 61 头牛的图像用来做最终的结果验证。

同时,该算法会高精度定位 15 个关键点位置,并输出每个点的具体坐标位置来用作姿态分析,其中背部有 5 个关键点,头部有 2 个关键点。

跟踪算法

以上步骤中,从将视频分解成组成帧到对每张图像进行关键点标注再到应用 Mask-RNN 来进行姿态分析,都是基于单一的静止图像,因此,试验还需要对奶牛随着时间移动过程进行分析。对此,研究人员采用了 SORT 算法(实时跟踪算法),该算法能够随着时间检测奶牛姿势,获取背部回归曲线、背部区域、颈部回归曲线程度以及颈部角度等指标信息。

顶部图像中显示了第一帧中的三头奶牛,每个都用不同颜色标记,中间图像中显示了 1 秒之后的奶牛移动情况,并且跟踪算法将刚才标记的奶牛都找出来并成功标记上对应颜色,同理,底部图像则显示了又过了一秒后的奶牛的移动情况。

分类算法

得到由姿态深度学习模型输出的姿态分析结果后,研究人员使用了 CatBoost 算法对奶牛的跛脚情况进行评分分类。这里值得注意的是,为了确保最大程度的泛化,只有最重要的姿态特征结果才应该在最终的训练模型中使用。因此,研究人员进行了一系列变量排列分析,最终得出删除 4 个不重要的指标信息,能够降低误差并对模型性能没有太大影响。

最后,为了测试使用 CatBoost 算法的准确性,研究人员采用了三重交叉验证和分类验证的方法来验证模型性能。其中,三重交叉验证结果显示该算法模型能够将每头奶牛按照跛行程度细致地分类到不同跛行评分等级中,且平均准确率为 94%±0.05。

总之,研究人员提出,与现有检测奶牛跛行系统相比,本研究成果有以下几个显著优势:

  • 能够同时对多头奶牛进行检测。
  • 根据奶牛的移动姿态按照常规使用的 AHDB 评分系统进行细致分类。
  • 能够在时间维度上追踪、分析每个个体。
  • 完全自动化,对挤奶、喂养等生产不会造成任何影响。

最后,研究人员也提出了几点挑战:

  1. 该系统在区分跛行等级评分为 0 及 1 的准确率要比区分其他等级时的准确率低很多,未来该研究团队将致力于提升微小特征差异的能力,以准确区分不跛行奶牛和行动稍有不便的奶牛。
  2. 该系统需要借助边缘设备(如相机、移动设备或平板电脑)将结果发送到服务器进行处理,从而实现实时观察,这个过程中,如何减弱网络变化带来的性能波动,将成为该项研究未来的工作重点。
  3. 该系统易受外部环境条件影响,例如地板与牛蹄颜色相近时,Mask-RCNN 算法识别准确性会降低,因此,添加更泛化的能力训练也成为该项研究未来的工作重点。

牛!AI 推动畜牧行业实现数字化

目前来看,AI 的风刮到畜牧业已成为一个不争的事实。聚焦国外,除了我们本篇介绍的科研成果之外,由于其畜牧业本身规模化程度高、数字化基础好,AI 落地成果已「百家齐放」。例如,荷兰的农业科技公司 Connecterra 开发了「智慧牧场助理」(IDA ,The Intelligent Dairy Farmer’s Assistant) 系统,通过在奶牛的脖子上佩戴可穿戴设备,软硬件配合实时监测奶牛的健康情况。据一位美国牧场主表示,通过应用 IDA 帮助其提高了 10% 的生产力。

将视线转回国内,一方面近年来 AI 发力畜牧业的例子也不在少数。早在前几年阿里就开启了智能养猪事业,而华为也曾联合中国电信和银川奥特推出基于 NB-IoT 的「牛联网」产品「小牧童」。不过,另一方面,也需要看到 AI 在国内畜牧业应用的覆盖面仍谈不上很广,对此,深牧科技 CEO 曾直言,「目前国内很多养殖者在谈起人工智能时,对它的认识还停留在最传统的人脸识别、语音识别上。」

因此,在这一背景下,如何让 AI 在推动畜牧业数字化上发挥更多积极影响,无疑将成为 AI 和畜牧业两个领域需要重点研究的课题之一。当然,对国内相关领域来说,这条道路更是任重而道远。


相关文章
|
11天前
|
机器学习/深度学习 人工智能 测试技术
EdgeMark:嵌入式人工智能工具的自动化与基准测试系统——论文阅读
EdgeMark是一个面向嵌入式AI的自动化部署与基准测试系统,支持TensorFlow Lite Micro、Edge Impulse等主流工具,通过模块化架构实现模型生成、优化、转换与部署全流程自动化,并提供跨平台性能对比,助力开发者在资源受限设备上高效选择与部署AI模型。
131 9
EdgeMark:嵌入式人工智能工具的自动化与基准测试系统——论文阅读
|
4月前
|
机器学习/深度学习 监控 算法
基于mediapipe深度学习的手势数字识别系统python源码
本内容涵盖手势识别算法的相关资料,包括:1. 算法运行效果预览(无水印完整程序);2. 软件版本与配置环境说明,提供Python运行环境安装步骤;3. 部分核心代码,完整版含中文注释及操作视频;4. 算法理论概述,详解Mediapipe框架在手势识别中的应用。Mediapipe采用模块化设计,包含Calculator Graph、Packet和Subgraph等核心组件,支持实时处理任务,广泛应用于虚拟现实、智能监控等领域。
|
5月前
|
人工智能 自然语言处理 算法
AI智能混剪视频大模型开发方案:从文字到视频的自动化生成·优雅草卓伊凡
AI智能混剪视频大模型开发方案:从文字到视频的自动化生成·优雅草卓伊凡
386 0
AI智能混剪视频大模型开发方案:从文字到视频的自动化生成·优雅草卓伊凡
|
1月前
|
机器学习/深度学习 数据采集 算法
基于mediapipe深度学习的运动人体姿态提取系统python源码
本内容介绍了基于Mediapipe的人体姿态提取算法。包含算法运行效果图、软件版本说明、核心代码及详细理论解析。Mediapipe通过预训练模型检测人体关键点,并利用部分亲和场(PAFs)构建姿态骨架,具有模块化架构,支持高效灵活的数据处理流程。
|
18天前
|
机器学习/深度学习 算法 vr&ar
【深度学习】基于最小误差法的胸片分割系统(Matlab代码实现)
【深度学习】基于最小误差法的胸片分割系统(Matlab代码实现)
|
3月前
|
机器学习/深度学习 存储 监控
基于深度学习YOLO框架的城市道路损伤检测与评估项目系统【附完整源码+数据集】
本项目基于深度学习的YOLO框架,成功实现了城市道路损伤的自动检测与评估。通过YOLOv8模型,我们能够高效地识别和分类路面裂缝、井盖移位、坑洼路面等常见的道路损伤类型。系统的核心优势在于其高效性和实时性,能够实时监控城市道路,自动标注损伤类型,并生成损伤评估报告。
171 0
基于深度学习YOLO框架的城市道路损伤检测与评估项目系统【附完整源码+数据集】
|
3月前
|
机器学习/深度学习 自动驾驶 算法
基于深度学习的YOLO框架的7种交通场景识别项目系统【附完整源码+数据集】
在智慧交通和智能驾驶日益普及的今天,准确识别复杂交通场景中的关键元素已成为自动驾驶系统的核心能力之一。传统的图像处理技术难以适应高动态、复杂天气、多目标密集的交通环境,而基于深度学习的目标检测算法,尤其是YOLO(You Only Look Once)系列,因其检测速度快、精度高、可部署性强等特点,在交通场景识别中占据了重要地位。
340 0
基于深度学习的YOLO框架的7种交通场景识别项目系统【附完整源码+数据集】
|
3月前
|
运维 Prometheus 监控
系统崩了怪运维?别闹了,你该问问有没有自动化!
系统崩了怪运维?别闹了,你该问问有没有自动化!
112 9
|
4月前
|
机器学习/深度学习 存储 PyTorch
PyTorch + MLFlow 实战:从零构建可追踪的深度学习模型训练系统
本文通过使用 Kaggle 数据集训练情感分析模型的实例,详细演示了如何将 PyTorch 与 MLFlow 进行深度集成,实现完整的实验跟踪、模型记录和结果可复现性管理。文章将系统性地介绍训练代码的核心组件,展示指标和工件的记录方法,并提供 MLFlow UI 的详细界面截图。
154 2
PyTorch + MLFlow 实战:从零构建可追踪的深度学习模型训练系统