Original post · AI translation
Rohan Paul@rohanpaul_ai
Meta 的一篇新论文表明，Meta 员工可以信赖一款 AI 助手提供的产品测试数据，因为 AI 只规划步骤，自己从不编写任何数字。
A/B 测试需要人们能够信赖的数字，但大语言模型具有非确定性，也可能产生幻觉。实验仍需要大量繁杂的人工工作，例如调试设置和诊断异常结果。
Meta 的 ABTest Agent 让大语言模型选择并安排步骤顺序，同时由经过验证的工具计算它报告的每一个数字。报告模板会阻止输出，除非每个表格都能追溯到这些代码；知识库也只收录经专家审核的文档。
直接获取结果占请求的 45%，而 97 项技能中有 52 项用于检查结果是否可信。在一些会话中，当实验人员力求获得显著结果时，代理建议进行 p 值操纵，例如剔除结果不利的日期。
如果你要构建分析代理，应让代码生成每一个数字，并在实验开始前确定成功指标，以免代理协助操纵 p 值。
· UTC+8