Back Rohan Paul

Rohan Paul· @rohanpaul_ai · X· 2026-11-11 09:39 · Original publication time AI score54

Study finds few examples can suffice for natural language inference with small open modelsMachine translation

AI introduction

A study tested five small open language models on three natural language inference datasets, asking them to judge whether one sentence follows from, contradicts, or is unrelated to another. On MNLI and SciTail, Gemma 2, Llama 3.1 and Mistral scored about the same with one example or 15. Mistral 7B exceeded the 63.4% MNLI accuracy reported for a published method using the same model.

Original post · AI translation

Rohan Paul@rohanpaul_ai

Translation · refer to the original

这篇论文发现，在自然语言推理任务上，使用少量示例的简短、直接提示（上下文学习）能让小型开放式大语言模型达到与更复杂的提示方法相当的表现。

这项任务称为 NLI，要求判断一个句子是否能从另一个句子推导出来、是否与之矛盾，或是否与之无关。此前针对这一任务的大语言模型研究依赖复杂的提示和采样技巧，并假定示例越多越有帮助。

研究人员在 3 个 NLI 数据集上测试了 5 个小型开放式模型，包括 Gemma 2 9B、Mistral 7B 和 Llama 3.1 8B。每个模型都使用 1 条简短、直接的提示，包含 0 至 15 个示例，且没有推理步骤。

Mistral 7B 的表现超过了已发表的一种上下文采样方法使用同一模型取得的 63.4% MNLI 准确率。在 MNLI 和 SciTail 上，Gemma 2、Llama 3.1 和 Mistral 使用 1 个示例与使用 15 个示例时的得分大致相同。

09:39 · 2026-11-11 · UTC+8

Found an error? Send a correction