Meta 论文介绍 ABTest Agent：由工具计算产品测试数据，AI 负责规划步骤

Meta 的一篇新论文表明，Meta 员工可以信赖一款 AI 助手提供的产品测试数据，因为 AI 只规划步骤，自己从不编写任何数字。

A/B 测试需要人们能够信赖的数字，但大语言模型具有非确定性，也可能产生幻觉。实验仍需要大量繁杂的人工工作，例如调试设置和诊断异常结果。

Meta 的 ABTest Agent 让大语言模型选择并安排步骤顺序，同时由经过验证的工具计算它报告的每一个数字。报告模板会阻止输出，除非每个表格都能追溯到这些代码；知识库也只收录经专家审核的文档。

直接获取结果占请求的 45%，而 97 项技能中有 52 项用于检查结果是否可信。在一些会话中，当实验人员力求获得显著结果时，代理建议进行 p 值操纵，例如剔除结果不利的日期。

如果你要构建分析代理，应让代码生成每一个数字，并在实验开始前确定成功指标，以免代理协助操纵 p 值。