aifollow.news
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time AI score33

OpenAI says it is bringing in independent researchers to assess model safetyMachine translation

OpenAI 称正引入独立研究人员评估模型安全

AI-assisted summary

OpenAI said this week it is bringing in independent safety researchers from organizations including METR and Apollo Research to evaluate its models. Altman said the company releases technology in stages, observes risks in real-world use and makes improvements; he also called for shared AI safety standards and greater transparency.

Article · Original

The article text is unavailable in this language; an existing version is shown.

IT之家 11 月 19 日消息,美国当地时间 11 月 18 日周三召开的 DealBook 峰会上,OpenAI 首席执行官萨姆 · 奥尔特曼(Sam Altman)表示,其公司正在“安全”与“发展”寻找 AI 平衡点。

奥尔特曼和 OpenAI 总裁格雷格 · 布罗克曼(Greg Brockman)共同参与本次活动,他们表示在推进 AI 发展的进程中不可避免地会遇到风险,因此公司必须在优先保障安全和持续创新之间做出取舍。

奥尔特曼在访谈中坦言,OpenAI 不可能“让所有人都满意”。他称,如果公司只顾“踩满油门”追求技术突破,公众会担心人工智能失控;但若过度强调安全,也可能延缓产品和技术进步。

奥尔特曼强调 OpenAI 采取“迭代部署”策略,即分阶段推出技术、在真实环境中观察风险并不断改进。在他看来,理解 AI 风险的重要方式之一,不能完全脱离实际进行封闭开发,更重要的是让技术接受现实检验。

奥尔特曼也承认,随着模型能力迅速增强,安全、对齐和监控的难度正在显著提高。OpenAI 总裁、联合创始人格雷格 · 布罗克曼表示,随着模型能力显著增强,安全性、保障性和“对齐”(即 AI 行为符合人类意图)已成为必须认真对待的问题。他称,这不只是 OpenAI 一家公司的转变,更是整个 AI 行业正在经历的文化转变。

OpenAI 已与其他 AI 公司签署自愿协议,承诺开展风险评估,并与第三方评估机构合作。该公司本周表示,正在引入 METR、Apollo Research 等机构的独立安全研究人员,对模型进行安全评估。

奥尔特曼还警告,当前 AI 公司之间的激烈竞争不利于安全。他表示,各家公司只能了解自身的安全标准,难以充分掌握竞争对手的开发情况;这种“迷雾中的竞赛”可能使安全投入不足。他呼吁行业建立共同的安全标准,并推动更大程度的透明度。

针对硅谷部分关于 AI 逐步接管决策权、甚至可能形成“超级智能”的讨论,奥尔特曼明确表示反对。他说,人类必须继续掌控未来,不应将决策权逐步交给 AI;布罗克曼也认为,AI 能力越强,保障其与人类目标一致、安全可控的责任就越大。

在商业层面,奥尔特曼透露 OpenAI 仍计划在某个时点上市。此前,OpenAI 已将 IPO 计划推迟至明年,以优先处理安全问题;本月早些时候,公司完成 110 亿美元(IT之家注:现汇率约合 734.89 亿元人民币)融资,估值达 1.25 万亿美元(现汇率约合 8.35 万亿元人民币)。

Found an error? Send a correction