aifollow.news
Back OpenAI 官方新闻
OpenAI 官方新闻· · Original publication time AI score27

OpenAI chief scientist proposes perplexity-based AI safety thresholds across labsMachine translation

OpenAI首席科学家提议用困惑度设定跨实验室AI安全门槛

AI-assisted summary

OpenAI chief scientist Jakub Pachocki shared internal pretraining measurements and proposed common development thresholds based on perplexity and other measures, to be maintained until the ability to understand and monitor AI behavior reaches a concrete milestone. He also acknowledged that datasets differ across labs, perplexity does not directly measure task performance, and it misses advances outside pretraining.

Article · AI translation

2026年11月22日

研究安全

困惑度与智能

作者:Jakub Pachocki,OpenAI首席科学家

分享

从远处看,现代人工智能的构建方式似乎与过去几十年的软件开发类似:运用一系列不同的技术来实现特定能力。确实存在多种方法,但它们大多并非从零开始设计,而是利用一个简单得多、也更难解释的过程所产生的智能:在规模极大的数据语料上训练一个压缩器(或者等价地⁠(在新窗口中打开),预测器)。1

我认为,跟踪训练出更好的压缩器的进展速度,是理解人工智能进步轨迹的关键。在本文中,我主张将困惑度(或者等价地,交叉熵损失)确立为一项指标,用于比较不同模型开发者的进展,并为共同的安全标准提供依据。作为第一步,我将更透明地披露OpenAI在预训练方面的进展。公布我们的内部困惑度测量结果需要一番权衡;这会让竞争对手更清楚地了解我们的现状,但建立全行业共同⁠(在新窗口中打开)安全措施的紧迫性,超过了这一顾虑。我们OpenAI希望这能成为一步,为未来协调推进速度的努力建立共同的科学基础。

对人工智能开发,一种简化但具有根本性启发意义的看法是:首先建造一台大型计算机,然后用它在大型非结构化数据集上对模型(压缩器)进行预训练,再在不同情境下运用提示、微调或强化学习等各种技术,引出该模型的潜在能力。算法进步可能模糊训练阶段之间的界限,但我们仍然可以区分创造出具有难以预测的涌现能力的人工智能(我此前称之为“外星心智⁠”)与随后有针对性地引出这些能力这两个过程。

多年来,我们衡量这一关键“智能基底”进展的主要方式一直保持着惊人的一致性——我们一直在跟踪模型在留出数据集上的困惑度。2、3 困惑度衡量模型平均而言预测下一个词元的能力;困惑度越低,预测越准确。本文开头的图表展示了从GPT‑3.5开始,我们的模型在这一指标上的变化。

这一指标在很大程度上可以描述的模型能力范围令人惊叹。GPT‑2在较早的数据集上创下了困惑度的新最佳水平4,可以说是第一个能够持续写出连贯段落的模型。下一次重大飞跃是GPT‑3,它能够在给出某项任务的少量示例后进行上下文学习。GPT‑3.5在我们目前的主要评估数据集上的对数困惑度约为0.99,能够流畅对话,并成为最初版ChatGPT的基础。GPT‑4的这一数值约为0.91,擅长有效运用思维链推理,这促使我们随后有针对性地引出这一能力,并创造了现代推理模型。如今,随着损失降至0.8以下,我们已看到网络安全和数学等领域出现变革性能力。我想再次强调,事先完全无法确定,一旦达到这些精确的困惑度阈值,这些能力就会出现——从根本上说,它们可以被视为这一指标进展所带来的涌现潜在能力。

随着人工智能迅速发展,我们衡量下游能力的范围和方式可能很快发生变化。用大多数现代基准来评估GPT‑2和GPT‑3几乎没有意义;而当时使用的基准,到GPT‑4左右也基本达到了饱和。相比之下,我认为关注预训练的进展很可能会持续提供有用信息。

进展速度的一个特别变化,来自人工智能对自身发展的贡献日益增加。最常讨论的指标,围绕着人工智能在开发周期的所有阶段辅助和取代人类研究人员;人们认为最终的转折点是“完全递归式自我改进”,届时整个过程将完全自动化,没有人类监督。除了认为为了维持人类控制,我们显然应当避免这种状态之外,我觉得这种总体框架还忽略了一个关键点。人工智能参与开发过程中的一个关键环节,可能带来阶跃式变化:针对预训练的算法研究。

最近,我们在另一个领域目睹了前所未有的加速。一年多来,我们一直把数学中的开放问题交给模型,作为评估模型的一种方式。当我们升级到对数困惑度约为 0.76 的模型后,它开始产出突破性成果。对我们中许多曾在数学及相关领域工作的人来说,在同一条 Slack 讨论串中,看到模型接连解答我们长期思考的问题,感觉非常不真实。有了这样的经历,我们就能据此推想:深度学习研究也可能发生如此突然的转变。虽然这个领域更加依赖实验,但一些简单的洞见多年未被发现的情况由来已久;因此,早在 2027 年,我们就可能看到基础性预训练进展出现类似的井喷5。虽然我预计人工智能也将为对齐和监测方面的进展作出重大贡献,但我认为,这些进展不太可能快到足以支持预训练潜在的全面加速。

鉴于令人意外的新能力主要是通过压缩方面的进展涌现出来的,以困惑度为基础的度量可以为我们提供一个通用智能的共同基准,无论开发过程的自动化程度如何。根据近期进展推算,当我们进入对数困惑度约为 0.68—0.7 的区间时,应当预期会出现更多具有变革性的能力。我不知道这些能力会是什么,而我们今天可能还没有对它们进行测试。与此同时,我们也应当预期,目前占主导地位的对齐审计方式会进一步退化⁠(在新窗口中打开),模型对评估和训练的感知也会进一步增强。我认为,前沿模型开发者应共同努力,在首次使用这类模型之前,确立评估模型和对其安全论证进行红队测试的共同规范,包括共同的透明度标准。我进一步提议,根据困惑度及其他测量指标设立共同上限,让开发者承诺,在我们理解和监测人工智能行为的能力达到某个具体里程碑(例如开发出思维链监测器的后继方案)之前,不突破这些上限。也就是说,我希望建立一项行业标准:用我们能够在不同实验室之间追踪的某项关键指标来确定首个开发上限,并具体规定在超越这一上限前需要达成什么目标。我希望这能为建立共同框架铺路,以便设定后续的一系列上限,并控制进一步开发的节奏。

将困惑度用作共同指标面临一些挑战:

不同实验室之间难以比较。不同开发者使用不同的评估数据集,也用不同的数据配比进行训练。这里,我们报告的是一直在追踪的主要数据集上的数值;我认为,如果我们确立透明度目标,就能找到可通用的方法来比较不同基础模型的质量。

与可付诸行动的评估脱节。困惑度并不直接对应我们关心的任务。我们之所以应该关注它,是因为我们可以预期,困惑度方面的进步会催生全新的能力。

未计入预训练之外的进展。最值得注意的是,思维链推理并不会降低模型达到的困惑度,尽管它能使模型能力大幅提升。

未知的下限。我们预计不可能实现损失为 0,因为那意味着能够完全确定性地预测数据集。但我们不知道数据固有的熵是多少。随着我们接近这一数值,困惑度方面的表面进展会放缓,但困惑度上较小的改进将对应模型智能上更大的跃升。

与此同时,困惑度作为一项许多研究团队投入大量精力优化的指标,经受住了时间的考验,并持续带来通用智能方面稳定的提升。我相信它可以在规范我们讨论 AI 进展的方式上发挥重要作用,也希望看到整个行业在这方面更加透明。

算力扩展

伦理与安全

2026

作者

Jakub Pachocki

脚注

1需要注意的是,这里所说的“压缩器”是指能够通过预测未见过的数据来进行压缩的东西,而不是像 GZIP 文件那样的压缩产物;也就是说,在给定语料库上训练出的最佳压缩器不一定会“记住”该语料库的内容。

2在实践中,我们通常跟踪困惑度的对数,也称为交叉熵损失。

3自 GPT-3.5 以来,我们使用的主要留出数据集来自我们的内部代码库,这里报告的就是这些数据集上的数值(基于一个固定快照)。

4鉴于 GPT‑2 和 GPT‑3 所用的训练数据,它们预测代码的能力并不能很好地代表其通用能力。这表明,将困惑度用作共同指标时,数据集的选择可能带来挑战;不过,在通用文本上将它们与现代模型一起评估,仍应能提供有用信息。我选择报告我们内部代码库上的困惑度,是因为我希望分享如今我们在 OpenAI 衡量预训练进展时最依赖的数值。

5在 OpenAI 模型损失值的图表中,你可以看到 2026 年出现了明显的加速。我们认为,这主要归功于长期研究和算力投入的成果,自动化只起了较小的作用。不过,对于最新的模型,我们已经看到 AI 在设计方面作出了有意义的贡献。

继续阅读

查看全部

MedChemBench:评测 AI 在药物化学领域的表现

研究2026年11月20日

研究加速:参差不齐的前沿

研究2026年11月18日

管理前沿 AI 风险:从训练到部署

安全2026年11月18日

Found an error? Send a correction