事件
最新进展 11月13日 16:00
Ai2 发布 XYBench，测试 AI 助手能否识别提问中的错误假设
Ai2 发布包含 8,115 道真实场景问题的 XYBench，评估助手能否从用户提出的做法中识别错误假设，转而解决其实际目标。在单轮测试中，五款模型都比人类参考答案更少引导用户放弃错误做法；该基准目前仅涵盖英语提问，且以操作类问题为主。
1 次进展2 篇报道2 个来源
事件进展 1
Ai2 发布 XYBench，测试 AI 助手能否识别提问中的错误假设
Ai2 发布包含 8,115 道真实场景问题的 XYBench，评估助手能否从用户提出的做法中识别错误假设，转而解决其实际目标。在单轮测试中，五款模型都比人类参考答案更少引导用户放弃错误做法；该基准目前仅涵盖英语提问，且以操作类问题为主。
查看来源报道 · 2 个来源 · 2 篇报道
- Allen Institute for AI 研究动态 · Ai2 发布 XYBench，测试 AI 助手能否识别提问中的错误假设
- Hugging Face 官方博客 · 研究团队发布 XYBench，测试 AI 能否识别用户提问中的错误假设
全部报道 2
Hugging Face 官方博客
同事件
研究团队发布 XYBench，测试 AI 能否识别用户提问中的错误假设
XYBench 收录 8,115 道真实场景问题，检验助手能否跳出用户提出的错误解法，回应其真正目标。在单轮测试中，五款受测模型比人类参考答案更少引导用户放弃错误做法；该基准目前仅覆盖英语提问，且以操作类问题为主。
另外 1 家也报道了
- Allen Institute for AI 研究动态
Allen Institute for AI 研究动态
精选
Ai2 发布 XYBench，测试 AI 助手能否识别提问中的错误假设
Ai2 发布包含 8,115 道真实场景问题的 XYBench，评估助手能否从用户提出的做法中识别错误假设，转而解决其实际目标。在单轮测试中，五款模型都比人类参考答案更少引导用户放弃错误做法；该基准目前仅涵盖英语提问，且以操作类问题为主。
另外 1 家也报道了
- Hugging Face 官方博客
推荐理由：这项研究把“答到了问题”和“帮用户解决实际目标”分开衡量，并显示五款受测模型在纠正错误做法上均落后于人类参考答案。