研究发现门控机制可能拖慢状态空间模型的上下文学习

一项发表于 NeurIPS 的研究通过理论分析和实验发现，状态空间模型中的门控机制会促使模型先把答案记入参数，延迟甚至阻碍其学会利用当前上下文；这一现象即使在架构和记忆容量并无限制时也会出现。不过，门控通常有助于模型泛化到更长序列。