事件
最新进展 11月18日 12:52
研究发现医疗大模型评测存在自我偏好
一篇斯坦福论文测试了来自 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型:它们回答 620 道真实临床医生问题,再对匿名答案排序。每个模型都更偏好自己的答案,平均高出 1.22 个名次;即使公开模型名称,偏差也只减少 0.094 个名次。
1 次进展2 篇报道1 个来源
事件进展 1
斯坦福新论文发现:8个受测大模型评判医疗回答时均偏爱自己的答案
研究让来自 OpenAI、Anthropic、Google 和 Qwen 的8个模型回答620个真实临床医生问题,再为匿名答案排序。每个模型给自己答案的排名,平均比其他评审模型高1.22个位次;论文建议使用不同模型家族组成评审组,并分别报告各评审结果。
查看来源报道 · 1 个来源 · 2 篇报道
- Rohan Paul (@rohanpaul_ai) · 斯坦福新论文发现:8个受测大模型评判医疗回答时均偏爱自己的答案
- Rohan Paul (@rohanpaul_ai) · 研究发现医疗大模型评测存在自我偏好
全部报道 2
Rohan Paul (@rohanpaul_ai)
精选
研究发现医疗大模型评测存在自我偏好
一篇斯坦福论文测试了来自 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型:它们回答 620 道真实临床医生问题,再对匿名答案排序。每个模型都更偏好自己的答案,平均高出 1.22 个名次;即使公开模型名称,偏差也只减少 0.094 个名次。
另外 1 家也报道了
- Rohan Paul (@rohanpaul_ai)
推荐理由:医疗 AI 评测若让模型充当裁判,自我偏好可能影响模型间的比较;这项研究用匿名答案排序量化了这一偏差。
Rohan Paul (@rohanpaul_ai)
同事件
斯坦福新论文发现:8个受测大模型评判医疗回答时均偏爱自己的答案
研究让来自 OpenAI、Anthropic、Google 和 Qwen 的8个模型回答620个真实临床医生问题,再为匿名答案排序。每个模型给自己答案的排名,平均比其他评审模型高1.22个位次;论文建议使用不同模型家族组成评审组,并分别报告各评审结果。
另外 1 家也报道了
- Rohan Paul (@rohanpaul_ai)