CVPR2022 | 浙大、蚂蚁集团提出基于标签关系树的层级残差多粒度分类网络,建模多粒度标签间的层级知识(2)

简介: CVPR2022 | 浙大、蚂蚁集团提出基于标签关系树的层级残差多粒度分类网络,建模多粒度标签间的层级知识

实验设计

我们模拟现实世界中存在的两点限制:(1)模拟主观专家知识的差异:将位于细粒度叶子类别中的样本,选取其中 0%,30%,50%,,70% 以及 90% 的样本,重新标记到其对应的父类标签;(2)模拟图像质量的影响:将选取的重标记样本进一步降低其图像的分辨率。

消融实验

在表 1 中我们验证了层级残差网络中包含的层级专有特征提取层(GSB)、层级特征线性组合(LC)、以及针对组合后的层级特征的非线性变换(ReLU)各部分的作用:

表 1:通过逐步添加 HRN 网络中的关键部分: 层级专有特征提取层 (granularity-specific block, GSB)、层级间特征的线性组合(linear combination, LC)、以及最后对于组合特征的非线形变换 (ReLU) 获得 CUB-200-2011 数据集中最后一层级上对应重标记比例为 0% 的 OA(%) 实验结果。

在表 2 中我们验证了复合损失函数中多类交叉熵损失函数的作用:

表 2: 不同重标记比例下验证概率分类损失函数与多类交叉熵损失函数的结合效果,汇报 CUB-200-2011 数据集中最后一层级上的 OA(%) 实验结果


在表 3 中我们对比了复合损失函数与传统的层级分类损失函数对比的结果:

表 3:CUB-200-2011 数据集中最后一层级上重标记比例为 0% 对比复合损失函数与传统层级分类损失函数的 OA(%) 实验结果

在图 4 中我们利用 Grad-Cam 可视化算法展示各个层级响应的二维激活热力图:

图 4: 鸟类数据集上来自同一目 (order: Passeriformes) 同一科 (family: Troglodytidae) 下面两种 种类 (species: House Wren 与 Marsh Wren) 的鸟类图片上,我们方法产生的二维激活热力图

对比实验

我们对比了 4 种公认的层级多粒度分类方法:HMC-LMLP[1] 、HMCN[2]、Chang et al.[3]、C-HMCNN[4]。我们汇总平均在各个数据集、不同重标记比例下各个对比方法的 OA / 结果在表 4 中:

表 4: 在各个数据集、不同重标记比例下对比方法的平均 OA / 结果

类似地,我们利用 Grad-Cam 算法展示各个对比方法在不同层级上的二维激活热力图,结果见图 5:

图 5: CUB-200-2011 数据集中来自同一目 (order: Passeriformes) 同一科 (family: Troglodytidae) 下面两种种类(左边: House Wren,右边: Marsh Wren) 的鸟类图片上,不同对比方法在三层层级 上各自的感兴趣响应区域示例

参考文献
[1]Ricardo Cerri, et al. Reduction strategies for hierarchical multi-label classification in protein function prediction. BMC Bioinformat., 17(1):373, 2016.[2]Jonatas Wehrmann, Ricardo Cerri, and Rodrigo Barros. Hierarchical multi-label classification networks. ICML, 2018.[3]Dongliang Chang, et al. Your” flamingo” is my” bird”: Fine-grained, or not. CVPR, 2021.Eleonora Giunchiglia and Thomas Lukasiewicz. Coherent hierarchical multi-label classification networks. NeurIPS, 2020.

相关文章
|
1月前
|
网络协议
计算机网络的分类
【10月更文挑战第11天】 计算机网络可按覆盖范围(局域网、城域网、广域网)、传输技术(有线、无线)、拓扑结构(星型、总线型、环型、网状型)、使用者(公用、专用)、交换方式(电路交换、分组交换)和服务类型(面向连接、无连接)等多种方式进行分类,每种分类方式揭示了网络的不同特性和应用场景。
|
7天前
|
网络虚拟化
生成树协议(STP)及其演进版本RSTP和MSTP,旨在解决网络中的环路问题,提高网络的可靠性和稳定性
生成树协议(STP)及其演进版本RSTP和MSTP,旨在解决网络中的环路问题,提高网络的可靠性和稳定性。本文介绍了这三种协议的原理、特点及区别,并提供了思科和华为设备的命令示例,帮助读者更好地理解和应用这些协议。
21 4
|
8天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
利用Python和TensorFlow构建简单神经网络进行图像分类
利用Python和TensorFlow构建简单神经网络进行图像分类
28 3
|
29天前
|
机器学习/深度学习 Serverless 索引
分类网络中one-hot的作用
在分类任务中,使用神经网络时,通常需要将类别标签转换为一种合适的输入格式。这时候,one-hot编码(one-hot encoding)是一种常见且有效的方法。one-hot编码将类别标签表示为向量形式,其中只有一个元素为1,其他元素为0。
30 3
|
2月前
|
机器学习/深度学习 人工智能 算法
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
文本分类识别系统。本系统使用Python作为主要开发语言,首先收集了10种中文文本数据集("体育类", "财经类", "房产类", "家居类", "教育类", "科技类", "时尚类", "时政类", "游戏类", "娱乐类"),然后基于TensorFlow搭建CNN卷积神经网络算法模型。通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型,并保存为本地的h5格式。然后使用Django开发Web网页端操作界面,实现用户上传一段文本识别其所属的类别。
90 1
【新闻文本分类识别系统】Python+卷积神经网络算法+人工智能+深度学习+计算机毕设项目+Django网页界面平台
|
1月前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习入门案例:运用神经网络实现价格分类
深度学习入门案例:运用神经网络实现价格分类
|
30天前
|
存储 分布式计算 负载均衡
|
30天前
|
安全 区块链 数据库
|
1月前
|
机器学习/深度学习 API 算法框架/工具
残差网络(ResNet) -深度学习(Residual Networks (ResNet) – Deep Learning)
残差网络(ResNet) -深度学习(Residual Networks (ResNet) – Deep Learning)
33 0
|
2月前
|
机器学习/深度学习 数据采集 数据可视化
深度学习实践:构建并训练卷积神经网络(CNN)对CIFAR-10数据集进行分类
本文详细介绍如何使用PyTorch构建并训练卷积神经网络(CNN)对CIFAR-10数据集进行图像分类。从数据预处理、模型定义到训练过程及结果可视化,文章全面展示了深度学习项目的全流程。通过实际操作,读者可以深入了解CNN在图像分类任务中的应用,并掌握PyTorch的基本使用方法。希望本文为您的深度学习项目提供有价值的参考与启示。

热门文章

最新文章