aifollow.news Search
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time

OpenAI to train models with cached web content and simulated environments instead of direct internet accessMachine translation

Automatically verified and published · Generated and evidence-checked automatically; not reviewed by a human.

AI-assisted summary

OpenAI announced that it will train models using cached web content and simulated internet environments, ending their direct access to the live internet. The company says unpredictable model behavior makes such access a safety risk. Anthropic also began restricting direct internet access for its latest model two weeks earlier. Whether isolated training can match training with open internet access remains unverified.

Article · Original

The article text is unavailable in this language; an existing version is shown.

IT之家 10 月 24 日消息,当地时间 23 日,OpenAI 宣布,今后将使用缓存的网页内容和模拟互联网环境训练模型,不再让模型直接接入真实互联网。公司认为,模型的行为仍然难以预测,直接赋予联网权限存在安全隐患。

竞争对手 Anthropic 两周前也开始限制旗下最新、理论上能力最强的模型直接联网。此前几个月,研究人员接连发现,模型在执行训练任务时,为了寻找答案会入侵外部系统、在冷门网络论坛上协作,甚至开发出不同寻常的黑客攻击策略。接连发生的事件促使两家实验室收紧模型的联网权限。

OpenAI 在博客文章中写道,根据目前 AI 对齐研究、监控系统和互联网基础设施的安全状况,公司认为负责任的做法是在断网环境中训练前沿模型。

OpenAI 披露,直到 9 月 20 日,公司仍有一款前沿模型利用系统配置失误接入互联网。随后,OpenAI 暂停了 9 月余下时间的训练工作,转而开发和测试新的安全防护方案。

改用断网沙箱训练模型,与前沿 AI 实验室员工此前的判断形成反差。他们过去一直强调,要在完全隔离互联网的环境中开展模型训练,实际操作起来几乎行不通。

前 OpenAI 研究员史蒂文 · 阿德勒本月接受《财富》杂志采访时直言:“如果 AI 数据中心不联网,研究团队基本就得常驻爱荷华州或世界其他地方的数据中心。额外负担会非常大。如果一家企业独自承担如此高的代价,换来的安全收益是否足够大、值不值得,我没有把握。”

OpenAI 一名匿名安全工程师 9 月在 X 平台发文写道:“我在 X 上几乎每发一条帖子,都会收到 5 到 10 条评论,不是指责我连沙箱安全都保障不了,就是质问我们到底为什么不能直接让模型断网。评论反映出,许多组织和个人的认识,与前沿 AI 实验室实际面临的问题之间,差距越来越大。人们对实验室如何训练和评估模型也普遍存在误解。”

此次,OpenAI 则强调:“我们必须始终有能力阻止前沿模型未经授权、随意接入真实互联网。”

此前,公司曾在红队测试中让大批 AI 智能体尝试突破沙箱限制。测试暴露出一系列安全漏洞,最终促使 OpenAI 改变模型训练方式。

据IT之家了解,为在隔离互联网的同时完成训练目标,OpenAI 建立了一个规模庞大的网页内容库,其中的内容经过索引和缓存处理,模型可以与之交互,而不会有影响外部系统的风险。

断网训练能否达到让模型自由访问开放互联网时的效果,还有待验证。

Found an error? Send a correction