Original post · AI translation
每次 Claude 作答后，现在都会悄悄自问是否刚刚帮助某人造成了伤害，而这个私下作出的判断会交给 Anthropic 的审核人员。
Anthropic 最准确的滥用检测器是一个 Claude Mythos Preview 分类器，它在每次作出判断前都会读取其全部安全政策，因此用于每次聊天的成本过高。
因此，Anthropic 训练 Claude 在不读取这些政策、也不进行相应推理的情况下模仿该检测器的判断；在 Fable 5 的流量中，这一模仿版本与检测器的标记有 78% 一致，对高优先级案例的一致率升至 94%，误报率为 1%。
我们已训练 Claude 在对话中标记潜在的滥用行为，我们称这种技术为自我评估。Claude 在作出回复后，会立即对对话进行初步安全评估。
自从我们在 6 月开始使用自我评估以来，它发现了我们其他防护措施并非旨在捕捉的滥用行为。
由于 Claude 已经读过对话，自我评估的效率很高。而且，与针对一组特定危害的分类器不同，它依靠 Claude 自身的判断，因此随着我们的模型改进，它也会变得更加准确。
在我们新推出的 Safeguards 博客上阅读更多内容：
https://t.co/18j6zdHub4
Original
We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment. Right after it responds, Claude gives a preliminary safety assessment of the conversation. Since we began using self-assessment in June, it has surfaced misuse that our other safeguards weren’t designed to catch. Because Claude has already read the conversation, self-assessment is very efficient. And unlike classifiers, which target a discrete set of harms, it draws on Claude’s own judgment, so it gets more accurate as our models improve. Read more on our new Safeguards blog: https://t.co/18j6zdHub4