aifollow.news
← 新闻
事件 最新进展 11月18日 12:52

研究发现医疗大模型评测存在自我偏好

一篇斯坦福论文测试了来自 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型:它们回答 620 道真实临床医生问题,再对匿名答案排序。每个模型都更偏好自己的答案,平均高出 1.22 个名次;即使公开模型名称,偏差也只减少 0.094 个名次。

1 次进展2 篇报道1 个来源

事件进展 1

斯坦福新论文发现:8个受测大模型评判医疗回答时均偏爱自己的答案

研究让来自 OpenAI、Anthropic、Google 和 Qwen 的8个模型回答620个真实临床医生问题,再为匿名答案排序。每个模型给自己答案的排名,平均比其他评审模型高1.22个位次;论文建议使用不同模型家族组成评审组,并分别报告各评审结果。

查看来源报道 · 1 个来源 · 2 篇报道
全部报道 2
Rohan Paul (@rohanpaul_ai) 精选

研究发现医疗大模型评测存在自我偏好

一篇斯坦福论文测试了来自 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型:它们回答 620 道真实临床医生问题,再对匿名答案排序。每个模型都更偏好自己的答案,平均高出 1.22 个名次;即使公开模型名称,偏差也只减少 0.094 个名次。

另外 1 家也报道了
  • Rohan Paul (@rohanpaul_ai)

推荐理由:医疗 AI 评测若让模型充当裁判,自我偏好可能影响模型间的比较;这项研究用匿名答案排序量化了这一偏差。
Rohan Paul (@rohanpaul_ai) 同事件

斯坦福新论文发现:8个受测大模型评判医疗回答时均偏爱自己的答案

研究让来自 OpenAI、Anthropic、Google 和 Qwen 的8个模型回答620个真实临床医生问题,再为匿名答案排序。每个模型给自己答案的排名,平均比其他评审模型高1.22个位次;论文建议使用不同模型家族组成评审组,并分别报告各评审结果。

另外 1 家也报道了
  • Rohan Paul (@rohanpaul_ai)
同一事件,精选展示《研究发现医疗大模型评测存在自我偏好》