CVPR2022 | 浙大、蚂蚁集团提出基于标签关系树的层级残差多粒度分类网络,建模多粒度标签间的层级知识(2)

简介: CVPR2022 | 浙大、蚂蚁集团提出基于标签关系树的层级残差多粒度分类网络,建模多粒度标签间的层级知识

实验设计

我们模拟现实世界中存在的两点限制:(1)模拟主观专家知识的差异:将位于细粒度叶子类别中的样本,选取其中 0%,30%,50%,,70% 以及 90% 的样本,重新标记到其对应的父类标签;(2)模拟图像质量的影响:将选取的重标记样本进一步降低其图像的分辨率。

消融实验

在表 1 中我们验证了层级残差网络中包含的层级专有特征提取层(GSB)、层级特征线性组合(LC)、以及针对组合后的层级特征的非线性变换(ReLU)各部分的作用:

表 1:通过逐步添加 HRN 网络中的关键部分: 层级专有特征提取层 (granularity-specific block, GSB)、层级间特征的线性组合(linear combination, LC)、以及最后对于组合特征的非线形变换 (ReLU) 获得 CUB-200-2011 数据集中最后一层级上对应重标记比例为 0% 的 OA(%) 实验结果。

在表 2 中我们验证了复合损失函数中多类交叉熵损失函数的作用:

表 2: 不同重标记比例下验证概率分类损失函数与多类交叉熵损失函数的结合效果,汇报 CUB-200-2011 数据集中最后一层级上的 OA(%) 实验结果


在表 3 中我们对比了复合损失函数与传统的层级分类损失函数对比的结果:

表 3:CUB-200-2011 数据集中最后一层级上重标记比例为 0% 对比复合损失函数与传统层级分类损失函数的 OA(%) 实验结果

在图 4 中我们利用 Grad-Cam 可视化算法展示各个层级响应的二维激活热力图:

图 4: 鸟类数据集上来自同一目 (order: Passeriformes) 同一科 (family: Troglodytidae) 下面两种 种类 (species: House Wren 与 Marsh Wren) 的鸟类图片上,我们方法产生的二维激活热力图

对比实验

我们对比了 4 种公认的层级多粒度分类方法:HMC-LMLP[1] 、HMCN[2]、Chang et al.[3]、C-HMCNN[4]。我们汇总平均在各个数据集、不同重标记比例下各个对比方法的 OA / 结果在表 4 中:

表 4: 在各个数据集、不同重标记比例下对比方法的平均 OA / 结果

类似地,我们利用 Grad-Cam 算法展示各个对比方法在不同层级上的二维激活热力图,结果见图 5:

图 5: CUB-200-2011 数据集中来自同一目 (order: Passeriformes) 同一科 (family: Troglodytidae) 下面两种种类(左边: House Wren,右边: Marsh Wren) 的鸟类图片上,不同对比方法在三层层级 上各自的感兴趣响应区域示例

参考文献
[1]Ricardo Cerri, et al. Reduction strategies for hierarchical multi-label classification in protein function prediction. BMC Bioinformat., 17(1):373, 2016.[2]Jonatas Wehrmann, Ricardo Cerri, and Rodrigo Barros. Hierarchical multi-label classification networks. ICML, 2018.[3]Dongliang Chang, et al. Your” flamingo” is my” bird”: Fine-grained, or not. CVPR, 2021.Eleonora Giunchiglia and Thomas Lukasiewicz. Coherent hierarchical multi-label classification networks. NeurIPS, 2020.

相关文章
|
12天前
|
机器学习/深度学习 数据采集 人工智能
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
层次化Softmax算法通过引入Huffman树结构,将传统Softmax的计算复杂度从线性降至对数级别,显著提升了大规模词汇表的训练效率。该算法不仅优化了计算效率,还在处理大规模离散分布问题上提供了新的思路。文章详细介绍了Huffman树的构建、节点编码、概率计算及基于Gensim的实现方法,并讨论了工程实现中的优化策略与应用实践。
60 15
基于Huffman树的层次化Softmax:面向大规模神经网络的高效概率计算方法
|
2月前
|
网络协议
计算机网络的分类
【10月更文挑战第11天】 计算机网络可按覆盖范围(局域网、城域网、广域网)、传输技术(有线、无线)、拓扑结构(星型、总线型、环型、网状型)、使用者(公用、专用)、交换方式(电路交换、分组交换)和服务类型(面向连接、无连接)等多种方式进行分类,每种分类方式揭示了网络的不同特性和应用场景。
|
20天前
|
机器学习/深度学习 Serverless 索引
分类网络中one-hot编码的作用
在分类任务中,使用神经网络时,通常需要将类别标签转换为一种合适的输入格式。这时候,one-hot编码(one-hot encoding)是一种常见且有效的方法。one-hot编码将类别标签表示为向量形式,其中只有一个元素为1,其他元素为0。
23 2
|
26天前
|
机器学习/深度学习
NeurIPS 2024:标签噪声下图神经网络有了首个综合基准库,还开源
NoisyGL是首个针对标签噪声下图神经网络(GLN)的综合基准库,由浙江大学和阿里巴巴集团的研究人员开发。该基准库旨在解决现有GLN研究中因数据集选择、划分及预处理技术差异导致的缺乏统一标准问题,提供了一个公平、用户友好的平台,支持多维分析,有助于深入理解GLN方法在处理标签噪声时的表现。通过17种代表性方法在8个常用数据集上的广泛实验,NoisyGL揭示了多个关键发现,推动了GLN领域的进步。尽管如此,NoisyGL目前主要适用于同质图,对异质图的支持有限。
39 7
|
1月前
|
网络虚拟化
生成树协议(STP)及其演进版本RSTP和MSTP,旨在解决网络中的环路问题,提高网络的可靠性和稳定性
生成树协议(STP)及其演进版本RSTP和MSTP,旨在解决网络中的环路问题,提高网络的可靠性和稳定性。本文介绍了这三种协议的原理、特点及区别,并提供了思科和华为设备的命令示例,帮助读者更好地理解和应用这些协议。
53 4
|
1月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
利用Python和TensorFlow构建简单神经网络进行图像分类
利用Python和TensorFlow构建简单神经网络进行图像分类
59 3
|
2月前
|
机器学习/深度学习 Serverless 索引
分类网络中one-hot的作用
在分类任务中,使用神经网络时,通常需要将类别标签转换为一种合适的输入格式。这时候,one-hot编码(one-hot encoding)是一种常见且有效的方法。one-hot编码将类别标签表示为向量形式,其中只有一个元素为1,其他元素为0。
69 3
|
2月前
|
机器学习/深度学习 数据采集 算法
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
这篇博客文章介绍了如何使用包含多个网络和多种训练策略的框架来完成多目标分类任务,涵盖了从数据准备到训练、测试和部署的完整流程,并提供了相关代码和配置文件。
64 0
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
|
2月前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习入门案例:运用神经网络实现价格分类
深度学习入门案例:运用神经网络实现价格分类
|
2月前
|
存储 分布式计算 负载均衡
下一篇
DataWorks