Ai2 发布 XYBench,测试 AI 助手能否识别提问中的错误假设
Ai2 发布包含 8,115 道真实场景问题的 XYBench,评估助手能否从用户提出的做法中识别错误假设,转而解决其实际目标。在单轮测试中,五款模型都比人类参考答案更少引导用户放弃错误做法;该基准目前仅涵盖英语提问,且以操作类问题为主。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读Ai2 发布包含 8,115 道真实场景问题的 XYBench,评估助手能否从用户提出的做法中识别错误假设,转而解决其实际目标。在单轮测试中,五款模型都比人类参考答案更少引导用户放弃错误做法;该基准目前仅涵盖英语提问,且以操作类问题为主。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读