研究发现，少量示例可让小型开放模型完成自然语言推断

这篇论文发现，在自然语言推理任务上，使用少量示例的简短、直接提示（上下文学习）能让小型开放式大语言模型达到与更复杂的提示方法相当的表现。

这项任务称为 NLI，要求判断一个句子是否能从另一个句子推导出来、是否与之矛盾，或是否与之无关。此前针对这一任务的大语言模型研究依赖复杂的提示和采样技巧，并假定示例越多越有帮助。

研究人员在 3 个 NLI 数据集上测试了 5 个小型开放式模型，包括 Gemma 2 9B、Mistral 7B 和 Llama 3.1 8B。每个模型都使用 1 条简短、直接的提示，包含 0 至 15 个示例，且没有推理步骤。

Mistral 7B 的表现超过了已发表的一种上下文采样方法使用同一模型取得的 63.4% MNLI 准确率。在 MNLI 和 SciTail 上，Gemma 2、Llama 3.1 和 Mistral 使用 1 个示例与使用 15 个示例时的得分大致相同。