彻底改变语言模型：全新架构TTT超越Transformer，ML模型代替RNN隐藏状态
【7月更文挑战第25天】近年来，NLP领域取得显著进展但也面临挑战，如长上下文建模与计算效率的平衡。为此，研究人员提出Test-Time Training (TTT) 模型架构。TTT由多机构合作开发，旨在解决长上下文建模难题及提高计算效率。通过将隐藏状态视为可学习更新的模型，TTT能随输入增长提升表示能力；采用自监督学习更新规则确保线性计算复杂度的同时保持高性能。实验显示TTT在多种NLP任务中表现优秀，尤其在长上下文处理方面超越Transformer。尽管如此，TTT仍面临训练资源需求高及自监督学习鲁棒性等挑战。[论文](https://arxiv.org/abs/2407.04620)
