4、实验
4.1、消融实验
1、分组策略
为了进一步验证分组的有效性，作者在不同的卷积网络上评估了不同的分组策略。策略主要包括：
- 不分组：稀疏学习和重要性评估在单个卷积层上独立进行；
- 仅卷积分组：组内的所有卷积层都以一致的方式稀疏化。
- 完全分组：一个组内的所有可训练层，如卷积、批处理归一化和全连接层，都是一致稀疏的。
如表2所示，当忽略神经网络中的分组信息并孤立地稀疏每一层时，本文的方法的性能将显著下降，在某些情况下，甚至由于过度剪枝而崩溃。根据仅conv分组的结果，在组中包含更多的参数有利于最终的性能，但在组中仍然省略了一些有用的信息。通过实现全分组策略，可以进一步提高剪枝的精度。
2、层稀疏性
在剪枝方面，层的稀疏性被认为是一个重要的设计空间，它决定了剪枝神经网络的结构。表2还提供了一些关于图层稀疏性的有用结果。
这项工作主要关注两种类型的稀疏性：均匀稀疏性和学习稀疏性。利用均匀稀疏性，神经网络被均匀缩放，假设冗余是均匀分布的。然而，图5中之前的实验表明，不同的层并不是相同的。在大多数情况下，学习到的稀疏性优于均匀稀疏性，如表2所示。因此，允许稀疏性学习算法自己来确定层的稀疏性。
3、DepGraph的通用性
表2中的结果也证明了框架的通用性，它能够处理各种卷积神经网络。此外，作者强调，本文的方法与DenseNet和GoogleNet是兼容的，这是一种包含密集连接和并行结构的网络。
4.2、SOTA实验
5、参考
[1].DepGraph: Towards Any Structural Pruning.
