aifollow.news
The study analyzed 1,260,967 blind votes on Chatbot Arena, comparing only pairs of models whose versions did not change. For the same pair, “both are bad” votes rose by 1.71 percentage points per month, against a 17.1% average. In decisive votes in 2024, the stronger model won about the same share, so rankings held.
人们每个月都会更严苛地评价完全相同的 AI 聊天机器人，因此一个从未改变的聊天机器人会开始显得更差。
研究人员分析了 Chatbot Arena 上的 1,260,967 次盲投票；在该平台上，人们比较 2 个匿名模型的回答。他们只保留了由固定不变的模型组成的配对，例如带日期的模型快照和固定的开放权重模型，以确保模型始终没有变化。
对于同一对模型，投“两个都不好”的票每月增加 1.71 个百分点，平均占比为 17.1%。但在 2024 年，更强的模型在有明确胜负的投票中赢得的份额大致不变，因此排名保持稳定。
Name a person, company or topic. We find the sources and gather every new development in your own tab.
