aifollow.news 搜索
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

Google DeepMind 论文发现:AI 模型自行随机选择时会偏向特定答案

自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。

AI 导读

研究让 Gemini、Qwen3 和 OLMo 模型各采样 1024 次;报告中的统计检验均未显示结果符合目标概率,调整温度或 top-p 也未解决问题。在一项安全博弈中,模型的选择使攻击者胜率达到 96.6% 至 99.9%,而真正随机检查时为 75%。给模型提供程序生成的随机数后,较大的模型能正确据此选择。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

Google DeepMind 的一篇新论文发现,AI 模型无法自行作出真正随机的选择,但如果计算机程序先给出一个随机数,较大的模型就能按要求正确选择。

智能体经常需要按设定概率随机选择行动,比如以不可预测的顺序检查服务器。大语言模型会说自己将均匀随机选择,却总是选中 7、42 或答案 C 之类的偏好选项。

研究人员让 Gemini、Qwen3 和 OLMo 模型分别从简单分布中抽样 1024 次。他们还尝试了其他温度和采样设置,并给模型一个随机数让其转换。

所有报告的检验结果都未能证明抽样符合目标概率,改变温度或 top-p 也未能解决问题。在一项安全博弈中,如果检查真正随机,攻击者的胜率为 75%;而使用 Gemini 的选择时,攻击者的胜率达到 96.6% 至 99.9%。

如果你的智能体需要随机性,就用代码生成随机数并传给它,而不是要求模型自行作出随机选择。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错