实验设计
我们模拟现实世界中存在的两点限制:(1)模拟主观专家知识的差异:将位于细粒度叶子类别中的样本,选取其中 0%,30%,50%,,70% 以及 90% 的样本,重新标记到其对应的父类标签;(2)模拟图像质量的影响:将选取的重标记样本进一步降低其图像的分辨率。
消融实验
在表 1 中我们验证了层级残差网络中包含的层级专有特征提取层(GSB)、层级特征线性组合(LC)、以及针对组合后的层级特征的非线性变换(ReLU)各部分的作用:
表 1:通过逐步添加 HRN 网络中的关键部分: 层级专有特征提取层 (granularity-specific block, GSB)、层级间特征的线性组合(linear combination, LC)、以及最后对于组合特征的非线形变换 (ReLU) 获得 CUB-200-2011 数据集中最后一层级上对应重标记比例为 0% 的 OA(%) 实验结果。
在表 2 中我们验证了复合损失函数中多类交叉熵损失函数的作用:
表 2: 不同重标记比例下验证概率分类损失函数与多类交叉熵损失函数的结合效果,汇报 CUB-200-2011 数据集中最后一层级上的 OA(%) 实验结果
在表 3 中我们对比了复合损失函数与传统的层级分类损失函数对比的结果:
表 3:CUB-200-2011 数据集中最后一层级上重标记比例为 0% 对比复合损失函数与传统层级分类损失函数的 OA(%) 实验结果
在图 4 中我们利用 Grad-Cam 可视化算法展示各个层级响应的二维激活热力图:
图 4: 鸟类数据集上来自同一目 (order: Passeriformes) 同一科 (family: Troglodytidae) 下面两种 种类 (species: House Wren 与 Marsh Wren) 的鸟类图片上,我们方法产生的二维激活热力图
对比实验
我们对比了 4 种公认的层级多粒度分类方法:HMC-LMLP[1] 、HMCN[2]、Chang et al.[3]、C-HMCNN[4]。我们汇总平均在各个数据集、不同重标记比例下各个对比方法的 OA / 结果在表 4 中:
表 4: 在各个数据集、不同重标记比例下对比方法的平均 OA / 结果
类似地,我们利用 Grad-Cam 算法展示各个对比方法在不同层级上的二维激活热力图,结果见图 5:
图 5: CUB-200-2011 数据集中来自同一目 (order: Passeriformes) 同一科 (family: Troglodytidae) 下面两种种类(左边: House Wren,右边: Marsh Wren) 的鸟类图片上,不同对比方法在三层层级 上各自的感兴趣响应区域示例
参考文献
[1]Ricardo Cerri, et al. Reduction strategies for hierarchical multi-label classification in protein function prediction. BMC Bioinformat., 17(1):373, 2016.[2]Jonatas Wehrmann, Ricardo Cerri, and Rodrigo Barros. Hierarchical multi-label classification networks. ICML, 2018.[3]Dongliang Chang, et al. Your” flamingo” is my” bird”: Fine-grained, or not. CVPR, 2021.Eleonora Giunchiglia and Thomas Lukasiewicz. Coherent hierarchical multi-label classification networks. NeurIPS, 2020.