在ICLR 2024会议上，一项名为FROSTER的研究引起关注。这项研究提出了一个创新的框架，用于解决开放词汇动作识别中的挑战。开放词汇动作识别的目标是识别在训练期间未曾见过的动作类别，这一任务对于理解人类行为和提高机器视觉系统的应用能力具有重要意义。
FROSTER框架的核心在于利用了CLIP模型的强大泛化能力。CLIP模型通过在大量图像-文本对上进行预训练，已经在多个基于图像的任务中取得了显著的成功。然而，CLIP模型在处理视频数据时存在局限性，因为它的预训练过程没有考虑到时间信息。为了弥补这一缺陷，FROSTER采用了一种残差特征蒸馏方法，这种方法能够在保留CLIP模型泛化能力的同时，使其适应于动作识别任务。
FROSTER的设计理念是将冻结的CLIP模型作为教师模型，指导学生模型学习。这种设计允许学生模型在保持泛化能力的同时，学习到视频特定特征。通过这种方式，FROSTER能够在不同的数据集上实现出色的性能，无论是在基础到新颖的设置，还是跨数据集的设置中。
FROSTER的研究者们还探讨了如何平衡视频特定学习和泛化能力。他们发现，通过将适应模型与冻结CLIP模型的输出进行集成，可以显著提高性能。然而，这种方法会增加计算成本，因为它需要同时推断两个模型。为了解决这个问题，FROSTER提出了一种将集成模型的知识整合到单个模型中的方法，以减轻计算负担。
在实验中，FROSTER与不同的视频识别网络结合使用，显示出了其有效性和通用性。研究者们在多个大规模视频数据集上进行了评估，FROSTER在这些数据集上都取得了最先进的性能。这些实验结果证明了FROSTER在开放词汇动作识别任务中的有效性。
FROSTER框架的提出，不仅在理论上具有创新性，而且在实际应用中也显示出了强大的性能。它为未来在开放词汇动作识别领域的研究提供了新的方向和思路。通过引入冻结的CLIP模型作为教师模型，以及提出残差特征蒸馏方法，FROSTER解决了泛化和视频特定学习之间的平衡问题。这一成果有望推动机器视觉技术在理解和识别人类动作方面的进步。
