在ICLR 2024会议上，一项研究提出了一种名为CAPABOOST的策略，这是一种旨在提高模型容量的同时保持参数高效的微调方法。这项研究的核心在于通过低秩更新和并行权重模块来增强模型的容量，而无需增加额外的参数。CAPABOOST策略的提出，为大型预训练模型的微调提供了一种新的、高效的解决方案。
在深度学习领域，尤其是在自然语言处理和计算机视觉任务中，大型预训练模型如GPT-3等已经成为了一种强大的工具。然而，这些模型的微调通常需要大量的计算资源，这在一定程度上限制了它们的应用。为了解决这一问题，研究者们提出了CAPABOOST，这是一种通过在目标层的共享权重矩阵上应用静态随机掩码来构建多样化权重矩阵的方法。这种方法不仅提高了模型的容量，而且由于不增加参数，因此也保持了参数的高效性。
CAPABOOST策略的提出，是对现有参数高效微调方法的一种补充和改进。它能够与LoRA和Adapters等方法无缝集成，这使得研究者们可以在不改变现有微调流程的情况下，直接应用CAPABOOST来提升模型性能。在自然语言理解、问答和图像分类等下游任务的实验中，CAPABOOST展现出了显著的性能提升，这证明了其有效性。
审稿过程中，CAPABOOST策略得到了审稿人的高度评价。审稿人认为，这是一种简单而有效的思路，能够在不增加计算成本的情况下，带来实证上的显著改进。尽管如此，审稿人也指出，在实际推理过程中，由于GPU上稀疏操作的速度问题，可能会存在一些额外的开销。对此，研究者们提供了额外的实验结果，并讨论了CAPABOOST在不同稀疏度下的表现，以及如何利用N:M稀疏随机修剪掩码来实现硬件加速。
在讨论CAPABOOST的工作原理时，研究者们详细解释了如何在微调阶段通过低秩近似来模拟冻结模型的性能，并讨论了CAPABOOST与现有低秩近似方法的比较。他们强调，CAPABOOST能够在不增加额外存储成本的情况下，实现参数数量的减少，这对于资源有限的环境尤为重要。
在回应审稿人的质疑时，研究者们强调了CAPABOOST在推理阶段的“零成本”特性，即在推理时不需要额外的存储或计算成本。在微调阶段，CAPABOOST的实现也是几乎“零成本”的，因为其参数数量少于没有CAPABOOST的相应PEFT方法，并且可以通过相同的随机种子再生掩码来避免掩码存储，从而进一步降低了存储成本。
CAPABOOST策略为参数高效的微调提供了一种新的视角。它通过在不增加参数数量的情况下增加模型容量，实现了性能的提升。这种方法的简单性和有效性使其在多个下游任务中具有广泛的应用潜力。研究者们对审稿人的反馈进行了详细的回应，并承诺公开代码和基准测试，这将进一步推动该领域的研究进展。
