【论文速递】CCDC2021 - 轻量级网络的结构化注意知识蒸馏

简介: 【论文速递】CCDC2021 - 轻量级网络的结构化注意知识蒸馏

【论文原文】:Structured Attention Knowledge Distillation for Lightweight Networks

获取地址:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9601745

CSDN下载:https://download.csdn.net/download/qq_50757624/87389656

博主关键词:知识蒸馏,轻量级网络,注意力

推荐相关论文:

- 无


摘要


知识蒸馏是通过设计的损失函数将教师网络学到的有效知识转移到学生网络中,帮助学生网络以更低的计算成本获得更好的性能。但是,当学生网络和教师网络在结构和计算量上存在很大差异时,以前的知识蒸馏方法很难有效提高学生网络性能。为了改善这种情况,本文提出了轻量级网络的结构化注意力蒸馏。结构化注意力蒸馏对模型中的特征进行通道分组,通过细化空间注意力图,帮助学生网络学习教师网络的特征提取能力。我们提出的方法是在CIFAR100和大规模人脸识别验证集(LFW,CFP-FP,Age-DB)上进行评估的。与其他蒸馏方法相比,我们提出的方法在CIFAR100和人脸识别验证集上获得了更好的精度。


简介


近年来,深度学习已广泛应用于计算机视觉的各个方面,性能显著。AlexNet的出现因其ImageNet竞赛中的出色表现而引起了研究人员的注意。随后,研究人员发现卷积神经网络的层越深,参数越多,网络的性能就越好。但是,当卷积网络中有更多的层时,由于梯度消失,网络将难以收敛。为了解决这个问题,提出了ResNet和BN,以使卷积网络能够容纳更多的参数和层。尽管大型深度卷积神经网络在各种视觉任务中取得了惊人的效果,但由于参数庞大,计算成本巨大,很难将其部署在嵌入式终端或移动设备上。知识蒸馏是模型压缩的一种突出方法。知识蒸馏通过设计的损失函数将教师网络学习的有效知识转移到学生网络中,这有助于学生模型以更低的计算成本获得更好的性能。为了提高小型网络的性能,一些知识蒸馏方法陆续被提出。Geoffrey Hinton等人引入了知识蒸馏的概念,并提出使用教师网络的输出作为软标签来指导学生网络。FitNet提出了一种特征蒸馏的方法,使学生网络模仿教师网络的隐藏特征,从而提高学生网络的性能。谢尔盖·扎戈鲁伊科(Sergey Zagoruyko) 提出了注意力转移蒸馏,它通过提取教师网络生成的空间注意力图来指导学生网络。在注意力转移蒸馏的帮助下,学生模型可以学习教师模型提取特征的能力。通道蒸馏计算中间层特征的通道注意力,以帮助学生学习教师模型识别通道表示的能力。ShrinkTeaNet提出了一种新的角蒸馏损失,用于从教师模型的超球体到学生的特质方向和样本分布。但是,考虑到轻量级网络与教师模型的巨大差异,参数数量和计算成本并不在同一数量级,提取特征的维度和信息也存在较大差异。因此,学生很难直接学习和模仿教师模型的输出或特征来达到理想的效果。以MobileNetV2为学生,ResNet50 为教师模型,在CIFAR100上进行了对比实验。为了验证学生网络和教师网络存在巨大结构差异时不同知识蒸馏方法的效果,我们调整了 MobileNetV2 的结构,将输出通道数改为[16]、[24]、[32]、[64],ResNet50 对应的输出通道数为[256]、[512]、[1024], [2048]. 在表1中,很容易发现 KD 和 CD 降低了学生模型的准确性,而 AT 和 SH 稍微提高了精度。很明显,模型之间的结构差异确实会影响知识蒸馏的有效性。此外,在 CD 和 SH 中,为了匹配教师网络的输出大小,学生需要添加图层和参数,这对轻量级网络相当不友好。


针对上述问题,我们提出了一种新的知识蒸馏方法,以提高学生提取特征的能力。我们通过结构化注意力蒸馏(SA)的方法将知识传授给学生,这是一种特殊的注意力蒸馏,我们将在第2.1节中详细解释。实验结果表明,所提方法在图像分类和人脸识别方面优于其他对比方法。

640.png

Fig. 1.来自pre-softmax激活的各种网络的结构化注意图。

Table 1 Accuracy of the student network MobileNetV2 under different distillation methods on CIFAR100

640.png

640.png

Fig. 2. Structured attention mapping over feature dimension.Fig. 2.在特征维度上的结构化注意映射。

相关文章
|
23天前
|
机器学习/深度学习 人工智能
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念对齐人类
【10月更文挑战第18天】这篇论文提出了一种名为AligNet的框架,旨在通过将人类知识注入神经网络来解决其与人类认知的不匹配问题。AligNet通过训练教师模型模仿人类判断,并将人类化的结构和知识转移至预训练的视觉模型中,从而提高模型在多种任务上的泛化能力和稳健性。实验结果表明,人类对齐的模型在相似性任务和出分布情况下表现更佳。
53 3
|
14天前
|
机器学习/深度学习 计算机视觉 Python
【YOLOv11改进 - 注意力机制】SimAM:轻量级注意力机制,解锁卷积神经网络新潜力
【YOLOv11改进 - 注意力机制】SimAM:轻量级注意力机制,解锁卷积神经网络新潜力本文提出了一种简单且高效的卷积神经网络(ConvNets)注意力模块——SimAM。与现有模块不同,SimAM通过优化能量函数推断特征图的3D注意力权重,无需添加额外参数。SimAM基于空间抑制理论设计,通过简单的解决方案实现高效计算,提升卷积神经网络的表征能力。代码已在Pytorch-SimAM开源。
【YOLOv11改进 - 注意力机制】SimAM:轻量级注意力机制,解锁卷积神经网络新潜力
|
1月前
|
机器学习/深度学习 Web App开发 人工智能
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》这篇论文提出了一种基于YOLOv3-Tiny的轻量级目标检测模型Micro-YOLO,通过渐进式通道剪枝和轻量级卷积层,显著减少了参数数量和计算成本,同时保持了较高的检测性能。
33 2
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
|
1月前
|
机器学习/深度学习 编解码 算法
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
MobileNetV3是谷歌为移动设备优化的神经网络模型,通过神经架构搜索和新设计计算块提升效率和精度。它引入了h-swish激活函数和高效的分割解码器LR-ASPP,实现了移动端分类、检测和分割的最新SOTA成果。大模型在ImageNet分类上比MobileNetV2更准确,延迟降低20%;小模型准确度提升,延迟相当。
56 1
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
|
1月前
|
编解码 人工智能 文件存储
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
YOLOv7是一种新的实时目标检测器,通过引入可训练的免费技术包和优化的网络架构,显著提高了检测精度,同时减少了参数和计算量。该研究还提出了新的模型重参数化和标签分配策略,有效提升了模型性能。实验结果显示,YOLOv7在速度和准确性上超越了其他目标检测器。
47 0
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
|
4天前
|
存储 SQL 安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【10月更文挑战第39天】在数字化时代,网络安全和信息安全成为了我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的内容,帮助读者更好地了解网络安全的重要性,并提供一些实用的技巧和方法来保护自己的信息安全。
14 2
|
5天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【10月更文挑战第38天】本文将探讨网络安全与信息安全的重要性,包括网络安全漏洞、加密技术和安全意识等方面。我们将通过代码示例和实际操作来展示如何保护网络和信息安全。无论你是个人用户还是企业,都需要了解这些知识以保护自己的网络安全和信息安全。
|
4天前
|
存储 安全 网络安全
云计算与网络安全:探索云服务中的信息安全策略
【10月更文挑战第39天】随着云计算的飞速发展,越来越多的企业和个人将数据和服务迁移到云端。然而,随之而来的网络安全问题也日益突出。本文将从云计算的基本概念出发,深入探讨在云服务中如何实施有效的网络安全和信息安全措施。我们将分析云服务模型(IaaS, PaaS, SaaS)的安全特性,并讨论如何在这些平台上部署安全策略。文章还将涉及最新的网络安全技术和实践,旨在为读者提供一套全面的云计算安全解决方案。
|
4天前
|
存储 安全 网络安全
网络安全与信息安全:漏洞、加密技术与安全意识的交织
【10月更文挑战第39天】在数字化时代,网络安全与信息安全成为保护个人隐私和组织资产的重要屏障。本文将探讨网络安全中的常见漏洞、加密技术的应用以及提升安全意识的重要性。通过具体案例分析,我们将深入了解网络攻击的手段和防御策略,同时提供实用建议,以增强读者对网络安全的认识和防护能力。
|
4天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
【10月更文挑战第39天】在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将探讨网络安全漏洞、加密技术以及安全意识等方面的内容,帮助读者更好地了解网络安全的重要性,并提供一些实用的技巧和建议来保护个人信息和设备安全。

热门文章

最新文章