aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

研究发现:用户对同一批 AI 聊天模型的评价逐月趋严

AI 导读

研究分析 Chatbot Arena 的 1,260,967 次盲评,只比较版本固定的模型组合。在同一组合中,“两个都不好”的投票比例每月上升 1.71 个百分点,整体平均为 17.1%;但在 2024 年有明确胜负的投票中,较强模型的胜率大致稳定,排名因此保持稳定。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

人们每个月都会更严苛地评价完全相同的 AI 聊天机器人,因此一个从未改变的聊天机器人会开始显得更差。

研究人员分析了 Chatbot Arena 上的 1,260,967 次盲投票;在该平台上,人们比较 2 个匿名模型的回答。他们只保留了由固定不变的模型组成的配对,例如带日期的模型快照和固定的开放权重模型,以确保模型始终没有变化。

对于同一对模型,投“两个都不好”的票每月增加 1.71 个百分点,平均占比为 17.1%。但在 2024 年,更强的模型在有明确胜负的投票中赢得的份额大致不变,因此排名保持稳定。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错