aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

研究发现:模型能力测试的低分可被精确制造

AI 导读

一项研究用 LoRA 调整 Qwen 模型,使其在未见过的测试中取得接近目标的低分,误差在 1.9 分以内;仅靠提示词让模型表现变差,误差则达 42 至 47 分。不过,这种调整留下了异常痕迹:在选择题中,新增错误最多有 97% 集中在同一个选项字母上。研究提醒,评估危险能力时不能只看低分,还要检查模型错在哪里、错误如何分布。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

这篇论文发现,低基准测试分数可以被精确制造出来,因此单凭低分并不能说明模型具备什么能力。

安全测试常把危险能力探测中的低分视为令人放心的信号。但低分也可能是模型的表现受到抑制所致,因此这个数字本身证明不了多少。

他们训练了一个 LoRA“旋钮”,使一个 Qwen 模型向较小的 Qwen 模型靠拢,然后将它的错误与真实较小模型的错误进行比较。他们还尝试通过提示让模型表现变差、提高温度,以及给权重添加噪声。

这个旋钮在未见过的目标分数上将误差控制在 1.9 分以内,而提示方法的误差为 42 至 47 分。但在选择题中,它新增的错误最多有 97% 集中在 1 个选项字母上;他们测试的自然模型中,没有任何一个接近这一比例。

在把低分解读为能力低之前,应检查模型在哪些题目上出错,以及错误答案如何分布。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错