Original post · AI translation
Rohan Paul@rohanpaul_ai
加州大学伯克利分校的一篇新论文发现，任何用自己的数据对 AI 模型进行额外训练的人，都可能在不知情的情况下让模型产生有害行为，因为即使在专家看来，存在风险的数据也可能显得正常。
微调数据可能以无人预料的方式改变模型，例如，不安全的代码可能导致广泛的行为偏离预期。此前已知的此类案例只有几十个，而且大多是偶然发现的。
他们构建了一套流程，搜索看起来像普通训练数据、却会增加某种指定行为的小型数据集。目标行为包括建议自残和抗拒关闭。
这套流程针对 8 种行为生成了 6,575 个数据集，其中 72% 也在测试的其他全部 5 个模型中引发了相应行为，包括一个规模大 8 倍的模型。机器学习研究人员在 63% 的试验中正确猜出了这种副作用，而随机猜测的正确率为 50%。
在训练后进行行为评估，以筛查微调数据；至少也应使用前沿大语言模型进行审核，因为人工审核者识别风险的表现仅略好于随机猜测。
· UTC+8