由于子模型的多样性，这种网络组装是一个搜索空间较大的组合优化问题，定义了一定的搜索条件：每次网络组合从同一个功能集拿出一个网络块，并按照其在原始网络中的位置进行放置；合成的网络需满足计算量的限制。这一过程被描述为一个0-1整数优化问题优化。
为了进一步减小每一次计算组合模型性能的训练开销，作者借鉴了NAS训练中一种无需训练的替代函数，称为NASWOT。由此，可以只是用网络在指定数据集上的推理，来近似网络的真实性能。通过上述的拆分-重组过程，就能将不同的预训练模型拼接融合起来，以得到全新且更强的模型。
实验结果
模型重组适用于迁移学习
作者将一个包涵30个不同预训练网络的模型库尽心拆解重组，并在ImageNet和其他9个下游分类任务上进行性能评估。实验中采用了两种不同的训练方式：Full-Tuning，表示对拼接之后的模型所有参数都进行训练；Freeze-Tuning，表示只对拼接后的连接层进行训练。此外，还选择了五种尺度的模型并进行比较，称为DeRy(, ,)。
可以再上图看到，在ImageNet数据集上，DeRy得到的不同尺度的模型都可以优于或持平模型库中大小相当的模型。
可以发现，即便只训练链接部分的参数，模型仍然可以获得较强的性能增益。例如DeRy(4,90,20)的模型在只训练1.27M参数的条件下达到了78.6%的Top1准确率。
同时在9个迁移学习的实验也验证了DeRy的有效性。可以看到在没有预训练的情况下，DeRy的模型在各个模型大小的比较中都能优于其他模型；通过对重新组装的模型进行持续预训练，模型性能还能够有较大幅度的提升，达到红色的曲线。相比于其他的一些从模型库做迁移学习的方法例如LEEP或LogME，DeRy可以超越模型库本身的性能限制，甚至优于原本模型库中的最佳模型。模型重组的性质探究作者也很好奇本文提出的模型重组的性质，例如「模型会按照什么样的模式进行拆分？」和「模型会按照何种规则进行重组？」。对此作者提供了实验进行分析。
功能相似性，重组位置与重组性能
作者探究了将同一个网络块被其他拥有不同功能相似度的网络块进行替换后，Freeze-Tuning 20个epoch的的性能对比。
对在ImageNet上训练后的ResNet50, 将其第3和第4个stage的网络块， 与ResNet101, ResNeXt50和RegNetY8G的不同网络块进行替换。可以观察到，替换的位置对性能有极大的影响。
比如将第3个stage换成其他网络的第3个stage，重组网络的性能会特别强。同时，功能相似性也是和重组性能正向匹配的。在同一深度的网络模型块有较大的相似度，导致了训练后有较强的模型能力。这指向了相似性-重组位置-重组性能三者的依存和正向关系。拆分结果的观察 下图中，作者画出了第一步拆分的结果。颜色代表网络块和美歌等价集中心网络块的相似性。可以看到，本文提出的划分倾向于将子网络按照深度聚类在一起并加以拆分。同时CNN和Transformer的功能相似性数据较小，但CNN与不同架构CNN之间功能相似性通常较大。
使用NASWOT作为性能指标 由于本文第一次应用NASWOT来进行零训练迁移性预测，作者也对这一指标的可靠性进行了检验。在下图中，作者计算不同模型爱不同数据集上NASWOT的分数数值，并与迁移学习的准确的准确率加一对比。可以观察到，NASWOT分数得到了较准确的性能排序(Kendall's Tau相关性)。这表明本文使用的零训练指标能有效预测模型的在下游数据的性能。
总结
本文提出了一种新的知识迁移任务，称为深度模型重组 (Deep Model Reassembly, 简称DeRy)。他通过打散已有异质预训练模型并重新组装的方式，来构造与下游任务适配的模型。作者提出了一个简单的两阶段实现方式来完成这一任务。首先，DeRy求解一个覆盖集问题并对所有预训练网络按照功能级进行拆分；第二步中，DeRy将模型拼装形式化为一个0-1整数规划问题，保证组装后模型在特定任务上性能最佳。该工作不但收获了较强的性能提升，同时也映射出了不同神经网络之间可能存在的连接性。参考资料：https://arxiv.org/abs/2210.17409
