Original post · AI translation
标题：“需要多少个示例，又该选哪些？一项关于自然语言推断中上下文学习的研究”
这篇论文发现，对于自然语言推断，使用少量示例的简短、直接的提示（上下文学习）能让小型开放式大语言模型达到与更复杂的提示方法相当的表现。
这项任务称为 NLI，要求判断一个句子是否可由另一个句子推导出来、是否与其矛盾，或是否与其无关。此前有关大语言模型的研究依赖复杂的提示和采样技巧，并假定示例越多越有帮助。
他们在 3 个 NLI 数据集上测试了 5 个小型开放式模型，包括 Gemma 2 9B、Mistral 7B 和 Llama 3.1 8B。每个模型都使用 1 条简短、直接的提示，其中包含 0 到 15 个示例，且不包含推理步骤。
Mistral 7B 在 MNLI 上的准确率超过了已发表的一种上下文采样方法使用同一模型取得的 63.4%。在 MNLI 和 SciTail 上，Gemma 2、Llama 3.1 和 Mistral 使用 1 个示例与使用 15 个示例时的得分大致相同。
Original
This paper finds that a short, direct prompt with a few examples (In-Context Learning) lets small open LLMs match more complex prompting methods on natural language inference. The task, called NLI, asks whether one sentence follows from another, contradicts it, or is unrelated. Earlier LLM work on it leaned on complex prompting and sampling tricks, assuming more examples help. They tested 5 small open models, including Gemma 2 9B, Mistral 7B and Llama 3.1 8B, on 3 NLI datasets. Each got 1 short, direct prompt with 0 to 15 examples and no reasoning steps. Mistral 7B beat the 63.4% MNLI accuracy that a published in-context sampling method got with the same model. Gemma 2, Llama 3.1 and Mistral scored about the same with 1 example or 15 on MNLI and SciTail.