全新轻量化模型 | 轻量化沙漏网络助力视觉感知涨点

简介: 全新轻量化模型 | 轻量化沙漏网络助力视觉感知涨点

1、简介


人体姿态估计(HPE)是计算机视觉中的一项经典任务,它主要通过识别人的关节的位置来表示人的方向。HPE可以用来理解和分析人类的几何和运动相关信息。Newell等人在Mask3D中提出的堆叠沙漏架构是第一个基于深度学习的HPE方法之一,因为经典方法在此之前主导了HPE文献。

在这项工作中,利用重复的自下而上和自上而下的处理,从不同的尺度上捕获信息,并引入中间监督,在每个阶段迭代细化预测。与当时最先进的方法相比,这导致了准确性的显著提高。

然而,HPE应该是一个实时的应用程序,因为它经常被用作另一个模块的前身。因此,在这种情况下,关注计算效率是至关重要的。在本研究中对堆叠的沙漏网络进行了架构和非架构修改,以获得一个既准确且计算效率高的模型。

在下文中对基线模型进行了简要描述。原始架构由多个堆叠的沙漏单元组成,每个沙漏单元由4个下采样和上采样级别组成。在每一级,通过残差块和最大池化操作实现下采样,而通过残差块以及朴素最近邻插值实现上采样。该过程确保模型捕获局部和全局信息,这对于连贯地了解全身以获得准确的最终姿态估计非常重要。在每个最大池化操作之后,网络分支以预池化分辨率通过另一个残差块应用更多卷积,其结果作为跳过连接添加到沙漏后半部分的相应上采样特征图。模型的输出是每个关节的热图,该热图对每个像素处关节存在的概率进行建模。预测每个沙漏后的中间热图,并对其应用损失。

此外,这些预测被投影到更多的通道,并作为后续沙漏的输入,以及当前沙漏的输入及其特征图输出。

源代码:https://github.com/jameelhassan/PoseEstimation


2、设计选择


2.1 深度可分离的卷积

深度可分离卷积取代传统卷积,减少卷积运算的参数数量。这是通过使用空间卷积单独分割卷积,然后通过点态卷积聚合通道信息来实现的,如图1所示。

image.png

2.2 空洞卷积

公式1中描述的空洞卷积是常规卷积运算的一种变体,其具有指数增加感受野而不损失分辨率或覆盖范围的能力,如池化运算的情况。

image.png

其中k是离散滤波器,是空洞因子,是空洞卷积运算。正则卷积对应于一维卷积。扩展卷积对计算复杂性几乎没有影响。

2.3 Ghost Bottleneck

Ghost 提出的Ghost Bottleneck也通过以不同的方式分割卷积,降低了卷积操作的计算复杂度。为了产生固定数量的通道,Ghost Bottleneck使用常规卷积输出一小部分通道,其余的则通过更简单的线性操作产生,如图2所示。这些通道通过连接和卷积输出所需的通道数量。

image.png

2.4 DiCE Bottleneck

Dimension-wise Convolutions for Effificient Networks(DiCE)单元是由Mehta等人在DiceNet中提出的一个卷积单元,它融合了维向卷积之后和维向融合。卷积操作应用于三个输入维度(宽度、高度和深度)。为了沿着每个维度组合编码的信息,使用了一个有效的融合单元来组合这些表示。因此,直径单元可以有效地沿着空间尺寸和通道尺寸捕获信息。

2.5 Shuffle Bottleneck

shuffle单元首次在Shufflflenet中提出,它使用点卷积和通道Shuffle来提高计算效率和保持准确性。

image.png

2.6  Perceptual Loss

感知损失被用来比较带有微小差异的相似图像。在这里使用它作为两幅图像之间的特征水平均方误差(MSE)损失,它计算一个高级特征图的损失,而不是原始图像空间。

这里的假设是,如果第一个沙漏在高特征水平上“感知”第二个沙漏“感知”的东西,网络的整体性能将会得到改善。总损失,如式2所示,包括感知损失和预测损失中权重较高的原始预测损失。

image.png

2.7 Residual connections

作者还用带有Concat的残差连接替换带有add的残差连接操作,然后进行逐点卷积,以获得所需数量的通道,称为「ResConcat」。还包括从沙漏最窄的特征图(颈部)到下一个沙漏颈部的残差连接,称为「NarrowRes」


3、实验


3.1 Alternative bottlenecks

image.png


4、参考


[1].To Perceive or Not to Perceive: Lightweight Stacked Hourglass Network.

相关文章
|
6天前
|
机器学习/深度学习 人工智能
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念对齐人类
【10月更文挑战第18天】这篇论文提出了一种名为AligNet的框架,旨在通过将人类知识注入神经网络来解决其与人类认知的不匹配问题。AligNet通过训练教师模型模仿人类判断,并将人类化的结构和知识转移至预训练的视觉模型中,从而提高模型在多种任务上的泛化能力和稳健性。实验结果表明,人类对齐的模型在相似性任务和出分布情况下表现更佳。
19 3
|
19天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于BP神经网络的苦瓜生长含水量预测模型matlab仿真
本项目展示了基于BP神经网络的苦瓜生长含水量预测模型,通过温度(T)、风速(v)、模型厚度(h)等输入特征,预测苦瓜的含水量。采用Matlab2022a开发,核心代码附带中文注释及操作视频。模型利用BP神经网络的非线性映射能力,对试验数据进行训练,实现对未知样本含水量变化规律的预测,为干燥过程的理论研究提供支持。
|
18天前
|
网络协议 前端开发 Java
网络协议与IO模型
网络协议与IO模型
网络协议与IO模型
|
18天前
|
机器学习/深度学习 网络架构 计算机视觉
目标检测笔记(一):不同模型的网络架构介绍和代码
这篇文章介绍了ShuffleNetV2网络架构及其代码实现,包括模型结构、代码细节和不同版本的模型。ShuffleNetV2是一个高效的卷积神经网络,适用于深度学习中的目标检测任务。
55 1
目标检测笔记(一):不同模型的网络架构介绍和代码
|
3天前
|
机器学习/深度学习 人工智能 算法
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
车辆车型识别,使用Python作为主要编程语言,通过收集多种车辆车型图像数据集,然后基于TensorFlow搭建卷积网络算法模型,并对数据集进行训练,最后得到一个识别精度较高的模型文件。再基于Django搭建web网页端操作界面,实现用户上传一张车辆图片识别其类型。
12 0
【车辆车型识别】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+算法模型
|
5天前
|
机器学习/深度学习 计算机视觉 网络架构
【YOLO11改进 - C3k2融合】C3k2融合YOLO-MS的MSBlock : 分层特征融合策略,轻量化网络结构
【YOLO11改进 - C3k2融合】C3k2融合YOLO-MS的MSBlock : 分层特征融合策略,轻量化网络结构
|
12天前
|
机器学习/深度学习 算法 数据挖掘
【深度学习】经典的深度学习模型-02 ImageNet夺冠之作: 神经网络AlexNet
【深度学习】经典的深度学习模型-02 ImageNet夺冠之作: 神经网络AlexNet
23 2
|
20天前
|
开发者
什么是面向网络的IO模型?
【10月更文挑战第6天】什么是面向网络的IO模型?
18 3
|
19天前
|
缓存 Java Linux
硬核图解网络IO模型!
硬核图解网络IO模型!
|
12天前
|
机器学习/深度学习 编解码 算法
【深度学习】经典的深度学习模型-01 开山之作:CNN卷积神经网络LeNet-5
【深度学习】经典的深度学习模型-01 开山之作:CNN卷积神经网络LeNet-5
21 0