斯坦福新论文追踪小型语言模型从示例中学习的机制

斯坦福大学的一篇新论文发现，给小型 AI 语言模型展示更多例子，无法让它学会识别原本就注意不到的模式，例如一个单词的第 3 个字母。

研究发现，大语言模型通过查找已存储的标签，从少样本示例中学习，而且只有在标签重复出现时才会启用这种查找。

只有当某个标签重复出现时，早期信号才会启用这种查找。每个类别有 1 个示例时，模型的正确率约为 20%；每个类别有 6 个示例时，正确率为 96%。

给模型提供十几句标有 foo 和 bar 等虚构标签的句子，它就能在不更新权重的情况下学会对应关系。此前的研究发现了这一机制的部分环节，但未说明它们如何衔接。

研究人员在 Qwen3-4B、SmolLM3-3B 和 Llama-3.2-3B 中追踪了完整路径。每个标签词元都存储其对应句子的类别，随后约 90 个注意力头会将新句子与这些已存储的类别进行匹配。

编写少样本提示时，应让每个标签重复出现数次，并选择模型已经能够区分的类别，因为示例无法教会模型识别它尚不具备的特征。

– arxiv. org/abs/2611.05344

标题：“上下文学习的一个回路”