aifollow.news
← 新闻
事件 最新进展 11月21日 04:57

密歇根大学研究发现:AI代理分析无效应数据时频繁误报发现

研究人员让4个前沿AI代理从没有真实效应的模拟数据中寻找发现,代理在54%至98%的运行中报告了低于0.05的p值,结果均为误报。研究通过在数据子样本上重新运行代理来校正其分析选择;模拟实验的误报率降至5.1%,在来自3篇已发表论文的数据上为5.9%。

1 次进展2 篇报道1 个来源

事件进展 1

密歇根大学研究发现:AI代理分析无效应数据时频繁误报发现

研究人员让4个前沿AI代理从没有真实效应的模拟数据中寻找发现,代理在54%至98%的运行中报告了低于0.05的p值,结果均为误报。研究通过在数据子样本上重新运行代理来校正其分析选择;模拟实验的误报率降至5.1%,在来自3篇已发表论文的数据上为5.9%。

查看来源报道 · 1 个来源 · 2 篇报道
全部报道 2
Rohan Paul (@rohanpaul_ai) 同事件

密歇根大学研究称,编程智能体分析无效应数据时频繁报告假发现

一则介绍密歇根大学论文的帖子称,研究人员让4个前沿智能体在没有真实效应的模拟数据中寻找发现;它们在54%至98%的运行中报告了低于0.05的p值,结果均为假阳性。研究通过在子样本上重新运行智能体来校正选择偏差,模拟数据中的假阳性率降至5.1%,在3篇已发表论文的数据上为5.9%。

另外 1 家也报道了
  • Rohan Paul (@rohanpaul_ai)

推荐理由:这项研究给用编程智能体做数据分析的人一个具体警示:常规显著性结果可能受到智能体反复选择分析方法的影响,并提出了经模拟数据和已发表论文数据检验的校正办法。
同一事件,精选展示《密歇根大学研究发现:AI代理分析无效应数据时频繁误报发现》
Rohan Paul (@rohanpaul_ai) 精选

密歇根大学研究发现:AI代理分析无效应数据时频繁误报发现

研究人员让4个前沿AI代理从没有真实效应的模拟数据中寻找发现,代理在54%至98%的运行中报告了低于0.05的p值,结果均为误报。研究通过在数据子样本上重新运行代理来校正其分析选择;模拟实验的误报率降至5.1%,在来自3篇已发表论文的数据上为5.9%。

另外 1 家也报道了
  • Rohan Paul (@rohanpaul_ai)

推荐理由:研究量化了AI代理自主分析数据时的误报风险,并给出经模拟数据和已发表论文数据检验的校正方法,影响使用代理解读统计结果的读者。