4实验
4.1 姿态估计
表3在COCO val上将HRT与具有代表性的卷积方法进行了比较，如HRNet和最近的几种变换方法，包括PRTR、TransPose-H-A6和TokenPose-L/D24。与384x288的HRNet-W48相比，HRT-B的增益为0.9%，参数减少了32%，FLOPs数减少了19%。因此，HRT-B已经达到77.2%的w/o使用任何先进的技术，如利用UDP或DARK方案HRT-B可以实现更好的结果。
作者还在表4中根据COCO测试集上的比较。HRT-B的性能比HRNet-W48高0.7%左右，参数和FLOPs更少。图4显示了在COCO val集合上进行人体姿态估计的一些示例结果。
4.2 语义分割
表5显示了Cityscapes val的结果。作者选择使用HRT+OCR作为语义分割架构。作者将本文方法与几种知名的基于Vision Transformer的方法和基于CNN的方法进行了比较。
具体来说，SETR-PUP和SETRMLA使用ViT-Large作为Backbone。DPT-Hybrid使用 ViT-Hybrid由一个ResNet-50和12个Transformer层组成。ViT-Large和ViT-Hybrid都是用ImageNet-21k上预训练的权值进行初始化的，在ImageNet上它们的Top1精度都达到了85:1%。
DeepLabv3和PSPNet是基于扩展的ResNet-101，输出stride为8。从表5的第4列可以看出，HRT+OCR整体上具有竞争力。例如，HRT-B+OCR与SETR-PUP在节省70%的参数和50%的FLOPs数的同时实现了相当的性能。
4.3 图像分类
作者将HRT与表6中一些代表性的CNN方法和ViT Transformer方法进行了比较，其中所有方法仅在 ImageNet-1K 上训练。为了公平性， ViT-Large大数据集(如ImageNet-21K)的结果不包括在内。从表6可以看出，HRT取得了具有竞争力的效果。例如，HRT-B比DeiT-B增加了1.0%，同时节省了近40%的参数和20%的FLOPs。
4.4 消融实验
1. FFN中3×3深度卷积的影响
在表7中研究了基于HRT-T的FFN内的3×3深度卷积的影响。作者观察到，在FFN中应用3×3深度卷积显著提高了在多个任务上的性能，包括ImageNet分类、pascal上下文分割和COCO姿态估计。
例如，在ImageNet、PASCAL-Context和COCO上，HRT-T+FFN w/ 3×3深度卷积比HRT-T+FFN w/ 3× 3深度卷积分别高出0.65%、2.9%和4.04%。
2. FFN中移动窗口方案与3×3深度卷积的影响
作者将本文方法与表8中Swin Transformer的移位窗口方案进行了比较。为了进行公平的比较，按照与Swin Transformer相同的架构配置构造了一个Intra-Window transformer架构，只是不应用移位的窗口模式。
可以看到，在FFN中应用3×3深度卷积可以改善Swin-T和IntrawinT。令人惊讶的是，当在FFN内配备3× 3深度卷积时，Intrawin-T的性能甚至超过了Swin Transformer。
3. 移位窗口方案vs . 3×3基于HRT-T的FFN深度卷积
在表9中，比较了FFN方案中的3×3深度卷积与基于HRT-T的移位窗口方案。结果表明，在FFN中应用3×3深度卷积在所有不同任务中的性能显著优于移位窗口方案。
4. 与ViT、DeiT和Swin在姿态估计上的比较
在表10中比较了著名的Transformer模型，包括ViT-Large, DeiT-B和Swin-B的COCO位姿估计结果。值得注意的是，ViT-Large和Swin-B都是事先在ImageNet21K上进行预训练，然后在ImageNet1K上进行微调，分别达到85.1%和86.4%的top-1准确率。DeiT-B在ImageNet1K上训练1000个Epoch，达到85.2%的top-1精度。对于三种方法，使用反卷积模块按照SimpleBaseline对编码器的输出表示进行上采样。表10的第4列和第5列列出了参数和flop的数量。根据表10的结果，可以看到HRT-B在参数和FLOPs更少的情况下比这3种方法获得了更好的性能。
5. 相比HRNet
作者将HRT与具有几乎相同架构配置的卷积HRNet进行比较，方法是将所有的Transformer块替换为由2个3x3卷积组成的传统基本块。表11显示了ImageNet、PASCAL-Context和COCO的对比结果。
可以观察到，HRT在模型和计算复杂度更低的情况下，在各种配置下都显著优于HRNet。例如，HRT-T在3个任务中分别比HRNet-T高出2.0%、1.5%和1.6%，而只需要大约50%的参数和FLOPs。总之，HRT通过利用Transformer的好处获得了更好的性能。
6. 窗口尺寸
作者还比较了在不同分辨率下不同窗口大小的语义分割任务的结果。使用，用stride表示不同分辨率的feature map关联的窗口大小4,8,16,32。作者为更高分辨率的分支选择更大的窗口大小，因此，有。根据这些结果，可以看到，应用较大的窗口可以提高性能，而在不同分辨率下应用不同的窗口大小没有太大的区别。
5参考
[1].HRFormer: High-Resolution Transformer for Dense Prediction
