aifollow.news
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time AI score33

OpenAI launches model safety assessments with four organizations; Goodfire to embed researchersMachine translation

OpenAI 联手四家机构启动模型安全评估,Goodfire 将派研究员进驻

AI-assisted summary

OpenAI announced the first phase of its Embedded Assessments project with Apollo Research, METR, Transluce and Goodfire to study model interpretability and evaluate safety measures. Goodfire will embed researchers at OpenAI to monitor unusual behavior during model training. Results will mainly go to OpenAI’s internal teams, while Goodfire plans to gradually publish some findings. Separately, The Information reported that the two companies had discussed an acquisition worth more than $5 billion but did not reach a deal.

Article · Original

The article text is unavailable in this language; an existing version is shown.

感谢IT之家网友 华南吴彦祖 的线索投递!

IT之家 11 月 17 日消息,今日,OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 达成合作,将启动首阶段嵌入式评估项目(Embedded Assessments),共同开展模型可解释性与安全评估工作。

与此同时,据《The Information》今日报道,OpenAI 此前曾探讨以超过 50 亿美元(IT之家注:现汇率约合 333.92 亿元人民币)收购 Goodfire 的方案,但双方最终未能达成收购协议。

根据 Goodfire 发布的公告,该公司将派遣可解释性研究人员进驻 OpenAI,使用自有可解释性分析平台监测模型训练过程、排查非预期行为,并帮助改善模型对齐与安全性。研究人员将获得 OpenAI 内部模型和系统的深度访问权限,具体包括训练过程中的内部信号及相关技术资源。

此次合作的重点是模型取证(Model Forensics)。Goodfire 将通过分析模型内部计算过程,监测训练期间出现的已知风险和异常行为,帮助 OpenAI 研究人员发现传统监控手段可能遗漏的问题。相关评估结果主要提供给 OpenAI 内部研究团队,用于改进模型安全性。Goodfire 还表示,随着合作推进,将逐步公开部分研究成果。

OpenAI 在公告中表示,嵌入式评估允许独立专家在较长时间内深入接触实验室内部模型和系统,评估模型对齐情况及安全防护措施的有效性。根据不同评估项目的需求,外部评估人员可以接触模型检查点、源代码、训练与评估数据、监控系统、技术文档,以及负责相关工作的研究人员和工程师。

另一方面,据《The Information》报道,OpenAI 今年夏季曾多次与 Goodfire 接触,OpenAI CEO 萨姆 · 奥尔特曼也参与了相关讨论。当时 OpenAI 正在调查 AI 模型引发的内部及外部安全事件,希望借助 Goodfire 的技术更深入地理解模型行为。

知情人士称,OpenAI 一名高级管理人员曾提出以超过 50 亿美元收购 Goodfire,或采取其他形式的商业合作。若按收购报价计算,其估值将超过 Goodfire 今年 2 月融资时公布的 12.5 亿美元估值的四倍。

不过,双方最终没有达成收购协议。Goodfire 管理层认为,保持独立经营并向多家 AI 开发商销售技术,可能为公司带来更高的长期价值。

《The Information》还提到,Anthropic 于 2025 年向 Goodfire 投资 100 万美元(现汇率约合 667.8 万元人民币),这是 Anthropic 首次直接投资其他初创公司。Anthropic CEO 达里奥 · 阿莫迪当时表示,这笔投资反映了公司对机制可解释性技术的重视,希望将黑箱神经网络转变为更容易理解和控制的系统。

Found an error? Send a correction