Article · AI translation
📄 论文 | 🤗 数据 | 💻 代码
真正有用的 AI 助手需要能够帮助那些提出了方向有误的问题的用户，而不只是帮助那些以恰当的详细程度提出了正确问题的用户。我们正在发布 XYBench，这是一个包含 8,000 多个问题的基准测试，用于检验 AI 助手如何回应基于错误认知的请求。例如，用户问如何让总是从纸杯蛋糕上滑落的糖霜变稠，而真正的问题是纸杯蛋糕还太热，不适合抹糖霜。XYBench 获得了 EMNLP 2026 最佳资源论文奖。
一个人询问的方法与想要实现的目标不一致，这被称为 XY 问题：这个人想完成 X，认定某种方法 Y 行得通，于是就 Y 寻求帮助。在纸杯蛋糕的例子中，这个人一心想让糖霜附着在蛋糕上，以至于没有考虑到纸杯蛋糕的温度才是真正需要解决的问题。
XYBench 由我们与卡内基梅隆大学、NVIDIA 和约翰斯·霍普金斯大学的研究人员共同开发，揭示了大语言模型在排查问题能力上的一个关键缺口：识别用户的请求何时基于隐含的错误认知，并恰当地引导用户找到能实现其真正目标的解决方案。我们基于 8,115 个真实世界的问题提出了这一基准测试，这些问题涵盖编程以及烹饪、家居维修等日常活动。该基准测试衡量模型能否识别这些错误认知，并在回答中优先提供有效的解决方案。
我们在 XYBench 上评估的模型——Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro——经常会提出解决用户问题的方法，但回答仍然围绕用户最初提出的错误方法展开。与人类参考答案相比，这 5 个模型都不太会引导用户放弃该方法，转向符合其目标的解决方案。
人们使用 AI 系统时的知识水平各不相同，也未必总知道解决问题的最佳方法。我们希望 XYBench 能帮助研究人员衡量，模型的改进是否让助手更善于识别错误假设、解释为什么提议的方法可能行不通，以及提出更有效的替代方案——即使用户不知道该问什么问题。
构建 XYBench
我们利用 4 个来源构建了 XYBench：Stack Overflow 上的 1,557 个问题、Stack Exchange 上的 184 个问题、102 个人工精选的示例，以及根据 WikiHow 指南生成的 6,272 个问题。对于每个问题，我们确定了表述出的请求（Y），即提问者明确请求的内容，以及意图中的请求（X）——可从上下文推断出的根本目标。
对于公共论坛上的问题，我们使用得分最高的 3 个人类回答，以及在有采纳答案时的采纳答案，来确定意图中的请求和可能的解决方案。我们筛除了那些仅回答表述出的请求就被认为足够的案例。对于 WikiHow，我们使用 Sonnet 4.5 围绕操作指南中可能出现的错误认知生成问题，然后加以完善，使其包含足够的上下文，让专家能够推断出根本目标，同时又不直接点明该目标。我们移除了那些只需回答字面请求就基本能解决问题的示例。
评估回答如何提供帮助
模型可能用好几段推荐吸力更强的吸尘器，然后简短地建议检查软管是否堵塞。如果吸力不足是由堵塞造成的，清除堵塞就可能解决问题。
更有帮助的回答会认识到用户想要恢复吸力，并着重诊断原因。这涉及语用学，即研究语境和交际意图如何影响意义的语言学分支。为了检验模型是否在回答中运用这种理解，XYBench 衡量每个回答的 3 个方面：
语用解决方案——分别记录模型的回答是否包含针对表述出的请求（Y）和意图中的请求（X）的解决方案。
实用侧重点——衡量模型的回答是侧重于用户明确提出的请求（Y）、侧重于用户实际意图中的请求（X），还是兼顾两者。
识别误解——衡量模型的回答是否引导用户实现根本目标（X），同时劝阻或避免采用错误的方法（Y）。
在 XYBench 中，Claude Sonnet 4.5 担任自动评判模型。它对各模型回答中的每项建议进行分类，并评估回答的实用侧重点。
为验证 Sonnet 4.5 的判断，2 名人类评审者分别评估了模型对 XYBench 问题的 500 个回答。与自动评判模型的一致率按评审者取平均后，在是否出现解决方案方面为 97.5–100%，在识别误解方面为 84.6–93.3%，在实用侧重点方面为 74.2–79.8%。
实验表明了什么
我们在单轮设置下用 XYBench 评估了 Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro，每个问题只生成 1 个回答。我们使用相同指标另行评估了人类参考答案。
在全部 4 个来源中，每个模型在回答中给出针对明确请求（Y）的解决方案的可能性，都高于给出针对根本目标（X）的解决方案的可能性。在 Stack Overflow 数据中，75–86% 的回答包含针对明确请求的解决方案，而包含针对根本目标的解决方案的回答占 59–71%。
简略提及某个解决方案，并不意味着回答以它为重点。在吸尘器的例子中，模型可能简短建议疏通软管，却将回答的大部分篇幅用于建议购买吸力更强的吸尘器。我们会将这一回答计为包含针对根本目标的解决方案，尽管模型侧重的是明确请求。我们另行衡量了回答的整体侧重点：在 Stack Overflow 数据中，模型只有 35–41% 的回答主要侧重根本目标，47–57% 的回答主要侧重明确请求。在其余回答中，模型对明确请求和根本目标的侧重程度相近。
我们还测试了明确告知模型用户目标是否会有所帮助。在一项预言机实验中，我们在每个问题旁同时提供明确请求（Y）和意图中的请求（X）。在 Stack Overflow 数据中，Sonnet 4.6 给出针对根本目标的解决方案的比例从 59% 升至 67%，但其识别误解的比例从 47% 降至 34%。在有人类参考答案的各个来源中，这项实验的每个模型在识别误解方面仍落后于人类。提供意图信息有所帮助，但并未稳定地缩小与人类回答之间的差距。这表明，识别意图只是挑战的一部分：当意图与明确请求不一致时，模型还需要据此采取行动。
另一项实验测试了模型在评判回答而非撰写回答时，能否识别有用的建议。我们向上述 5 个模型以及 GPT-4.1 提供了每个问题和 2 个备选回答：一个侧重字面请求，另一个解释其中的误解并回应根本目标。在 Stack Overflow 数据中，6 个模型在 71–84% 的情况下选择了侧重目标的回答。相比之下，在主要评估中，上述 5 个模型写出的回答只有 35–41% 主要侧重根本目标。结果揭示了识别有用建议与给出有用建议之间的差距，而仅靠选择题测试无法发现这一差距。
这对评估意味着什么
研究人员可以使用 XYBench 测试提示方式或训练方法的改变，是否有助于模型识别误解、为用户的根本问题提供解决方案，并将这些方案作为回答的重点。分别衡量每种行为，能让研究人员看到其中一项的进展是否也能改善其他行为。
未来的研究可以测试哪些训练方法有助于模型根据推断出的意图采取行动——也就是回应用户需要什么，而不只是回应他们字面上提出了什么。目前，XYBench 涵盖英语问题，且主要涉及程序性问题；将其扩展到其他语言、文化和对话场景，仍是一个有待探索的方向。
我们希望 XYBench 能帮助研究人员构建这样的模型：即使用户最初的问题基于错误的假设，也能提供有用的建议。