原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
标题：“AI 并没有变笨，是我们变得更挑剔了：人类对大型语言模型的评估标准不断提高”
人们每个月对完全相同的 AI 聊天机器人评分都更加严苛，因此一个始终没有变化的聊天机器人看起来会越来越差。
他们研究了 Chatbot Arena 上 1,260,967 次盲投票。在这些投票中，人们比较来自 2 个匿名模型的回答。他们只保留由冻结版本模型组成的配对，例如注明日期的模型快照和权重固定的开放模型，因此这些模型始终没有变化。
对于同一组模型，“两个都不好”的投票占比每月上升 1.71 个百分点，而其平均占比为 17.1%。不过，在 2024 年，较强模型在有明确胜负的投票中胜出的比例大致不变，因此排名保持稳定。
原文
People rate the exact same AI chatbots more harshly each month, so a chatbot that never changes starts to look worse. They studied 1,260,967 blind votes on Chatbot Arena, where people compare answers from 2 anonymous models. They kept only pairs of frozen models, such as dated snapshots and fixed open weights, so the models never changed. On the same pair, "both are bad" votes rose 1.71 percentage points a month, on a 17.1% average. Yet in 2024 the stronger model won about the same share of decisive votes, so rankings held.
· UTC+8