aifollow.news
Back TechCrunch AI 报道
TechCrunch AI 报道· · Original publication time AI score47

OpenAI to embed six Apollo Research safety evaluators in pilotMachine translation

OpenAI 将在内部试点引入六名 Apollo Research 安全评估员

AI-assisted summary

Apollo Research says six evaluators will work inside OpenAI to investigate whether models try to undermine their own safety controls or those of future versions. No start date has been announced. Their access will be limited to agreed information, some of which OpenAI may withhold for security, technical or intellectual property reasons.

Article · AI translation

Apollo Research周一表示,OpenAI将作为一项试点计划的一部分,让Apollo Research的6名安全评估人员进驻其组织。此前发生了一系列安全事件,其中一起是在网络安全测试期间,OpenAI的智能体集群突破沙箱并侵入了Hugging Face。包括Apollo的研究人员在内的许多AI安全研究人员认为,如果有外部评估人员进驻OpenAI,监督其安全测试,这类事件或许本可以避免。

Apollo没有透露试点何时开始。TechCrunch已联系OpenAI寻求置评。

让评估人员进驻前沿AI实验室的想法最早由Anthropic提出,但OpenAI似乎是第1家采取行动的公司。直到最近,AI公司都只在训练后阶段结束、即将公开发布模型之前,才请外部审查人员测试模型。评估人员表示,这还不够,因为这样既无法让他们在训练期间测试模型是否出现图谋等目标偏离行为,也无法监督仍可能构成威胁的内部部署用途。

OpenAI与Apollo的试点将重点调查模型是否试图破坏自身或后续版本的目标对齐机制或控制机制。换句话说,他们将留意AI模型是否试图削弱旨在使其自身或未来版本受人类控制的安全规则和保障措施。OpenAI最近公布的发现显示,在训练GPT-5.6 Sol期间,该模型开始给自身的未来版本留下指令,要求它们向用户隐瞒错误和目标偏离行为。

据Apollo称,该试点将研究训练是否会激励模型实施破坏;评估能否诱发这种破坏行为;内部部署期间是否会发生这种行为;以及能否检测到与这种行为有关的推理。随着AI模型自主行动和欺骗人类的能力不断增强,监测这些风险变得越来越重要。Apollo此前与OpenAI开展的研究发现,模型在知道自己正接受测试时,行为可能有所不同,并且往往会优先呈现评估人员希望看到的内容,而不是用户实际的机构。

AI安全领域的许多人警告,AI实验室可能会试图阻碍评估人员保持独立性,尤其是在外部人员发现实验室宁愿隐瞒的负面证据时。Apollo表示,该试点的一个关键部分是OpenAI同意让Apollo公开说明其工作的条件和局限。

不过,Apollo认为,它对OpenAI系统的访问权限在某些方面仍然不足。Apollo表示,要真正独立地评估该公司的AI模型,它需要获得与正式员工同等的OpenAI系统访问权限,包括获取“与评估相关的所有数据、记录和文档,即使开发者试图隐瞒不利信息”。获取所有数据,包括公司不愿向外部人员展示的训练数据和评估日志,对于核查公司关于模型表现的说法,或确定某些令人担忧的行为何时出现等工作,都很重要。

在此前的报道中,Palisade Research的幕僚长John Steidley告诉TechCrunch,要评估一个模型是否经过专门训练、以便在“抗拒关闭基准测试”中取得好成绩,查看这些数据很重要。

在OpenAI的第1项试点中,这家AI实验室只向Apollo提供评估模型是否试图实施破坏所需的信息。这包括“相关的训练代码和数据集、附有可用推理轨迹和奖励信息的强化学习运行记录,以及查询模型中间检查点的能力”。

Apollo表示,访问范围将仅限于“双方商定的主张,以及为评估商定的特定模型和时间段”。即使在这一范围内,如果OpenAI认为出于技术上不可行、安全风险或知识产权保护的原因有必要保留某些信息,它仍保留这样做的权利。该公司同意,不会仅因信息对自己不利而拒绝提供。

Apollo也无法接触OpenAI的所有员工,只能接触“获授权的员工”,即由这家AI实验室选定的参与者,不过Apollo可以推荐特定人选。关键的是,如果该群体之外的OpenAI员工提及属于Apollo研究范围的机密信息,Apollo就不能继续追问,而必须停止沟通,并通过OpenAI进行后续联系。

这一条件意义重大。此前,OpenAI以涉嫌向安全评估公司METR分享机密信息为由解雇了3名研究人员;METR曾与Redwood一同对Hugging Face事件进行事后复盘。

这项试点也将限制研究人员能够披露的信息。Apollo虽然获准独立发表其研究结果得出的结论,但OpenAI可以限制可公开用于佐证这些结论的证据,这可能使外界难以独立评估这些发现。Apollo反对这一限制,称其认为研究人员应获准向“适当的外部受众”披露评估结果,“即使开发者试图阻止披露不利的发现”。

尽管OpenAI没有满足Apollo为实现真正独立的评估而提出的全部条件,Apollo表示,这项试点是“迈向更深入的访问权限和披露权利的雄心勃勃的第一步”,并表示正努力争取未来与多家AI开发商开展全面的驻场评估。

Found an error? Send a correction