aifollow.news
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time AI score34

Addy Osmani warns that reliance on AI could weaken independent judgmentMachine translation

Addy Osmani 警告过度依赖 AI 可能削弱独立判断

AI-assisted summary

Anthropic Claude Code engineer Addy Osmani argues that as AI outputs become more polished and obvious errors less common, users may skip verification and treat AI’s judgments as their own. He recommends forming an initial hypothesis, looking for evidence that could disprove an AI conclusion, and retaining human judgment in major decisions.

Article · Original

IT之家 11 月 4 日消息,Anthropic Claude Code 团队工程师、前谷歌技术高管 Addy Osmani 在 X 上发表长文《当 AI 智能体完成工作时,如何保持批判性思维》。

他认为,随着 AI 智能体越来越强大,人类可能在逐步依赖 AI 的同时,逐渐丧失独立思考、验证结果和理解复杂系统的能力,最终将 AI 的判断直接当作自己的判断。他将这种现象称为“认知投降”。

Osmani 曾在谷歌工作超过 14 年,负责过 Chrome 开发者体验及谷歌云 AI 相关业务,目前在 Anthropic 从事 Claude Code 相关工作。

他表示自己是 AI 智能体工作流的坚定支持者,日常工作中经常同时运行多个 Agent,但发现了一个值得警惕的变化:随着 AI 模型不断进步,输出结果中的明显错误越来越少,人类反而更难保持警惕。

过去人们通常需要经历信息收集、分析、判断等过程才能得到答案,如今这一过程可能被压缩到几秒钟。AI 生成的内容往往结构完整、表达流畅,且大部分情况下是正确的,这使得用户越来越容易跳过独立思考和验证环节。

Osmani 将人类使用 AI 的状态划分为三个层次,IT之家总结如下:

首先是“认知卸载”(Cognitive Offloading),即将任务交给 AI 完成,但仍对结果认真负责地检查;

其次是“推迟判断”(Deferral),即默认不再将 AI 输出视为需要验证的结果,而是直接作为下一步工作的依据;

最后是“认知投降”(Cognitive Surrender),即把 AI 的输出当成自己的判断,用户不再认为有必要检查。

实际上,“认知投降”一词最初由宾夕法尼亚大学沃顿商学院研究人员 Steven Shaw 和 Gideon Nave 提出。两人在题为《思考 —— 快速、缓慢与人工智能:AI 如何重塑人类推理及认知投降的兴起》的研究论文中讨论了这一现象。论文将其描述为,人们在缺少充分检验的情况下接受 AI 输出,并让 AI 的判断取代自身的直觉和思考。

Osmani 认为,这种转变往往不是突然发生的,而是在不断使用 AI 的过程中逐渐形成。用户可能认真阅读第一份 AI 报告,对第二份只进行快速浏览,到了第三份甚至只检查大纲。最终当有人询问某个具体结论时,用户可能发现自己根本无法解释其中的逻辑。

他将这一现象与“认知债务”联系起来。在软件开发领域,AI 可以生成大量代码,测试也可能全部通过,但团队成员对系统架构和实现逻辑的理解却在不断减少。直到某天需要修改系统时,开发者才发现已经没有人能真正理解某些代码的工作原理。

不过 Osmani 并不认为开发者需要记住庞大代码库的全部细节。他指出,Claude Code 团队也会在需要时借助 AI 重新建立对特定代码模块的理解。真正重要的不是始终掌握所有知识,而是知道自己不了解什么,并且具备重新理解它的能力。

对于如何避免“认知投降”,Osmani 建议在向 AI 提出复杂问题前,人类应该先形成自己的初步假设,而不是完全依赖 AI 提供答案。即使最初的猜测并不准确,也可以帮助用户在接收 AI 结果时保留独立判断的基础。他还建议用户主动寻找能够推翻 AI 结论的证据,而不是只询问模型对自己答案有多大信心。

在软件开发领域,Osmani 认为 AI 时代的瓶颈正在从编写代码转向验证代码是否正确。AI 智能体已经可以自主编写代码、运行测试、读取错误信息并反复修改,直到测试通过。但问题在于测试本身也可能由 AI 编写,如果测试逻辑与代码存在相同错误,即使所有测试显示通过,也无法证明软件不存在问题。

因此他强调,开发者不仅应该关注测试是否通过,还需要明确测试究竟证明了什么、没有覆盖哪些风险。对于 AI 交付的成果,验收标准应该是实际测试结果、运行日志、截图等可以验证的证据,而不是 AI 生成的一段看起来合理的总结。他还提出,开发者应该要求 Agent 明确列出它在执行任务过程中自主作出的决定、采用的假设以及忽略的条件。

随着 AI 能够同时执行越来越多任务,另一个问题开始出现。Osmani 将其称为“编排税”,即 AI 生成的速度与人类能够认真审核、并愿意为其负责的速度之间的差距。

当 AI 生成的工作成果不断堆积而人类没有足够时间审核时,继续增加 Agent 数量并不能解决问题。他认为团队应该改进自动验证机制,或者适当降低任务生成速度。

Osmani 同时警告,AI 的高度自动化可能使人类逐渐放弃练习原有技能。他建议开发者每周尝试在不使用 AI 的情况下编写一些代码,每个月重新审视自己已经停止练习的技能,并判断哪些能力仍然值得保留。他引用 Anthropic 关于内部工程师和研究人员使用 AI 的研究,指出其中存在一种“监督悖论”:监督 Claude 需要具备编程能力,但过度使用 AI 又可能使这些能力退化。

Osmani 强调,这并不意味着应该减少 AI 的使用。在错误成本较低的任务中,完全交由 AI 完成没有问题,但涉及投资、职业选择、产品安全或影响其他人的重大决定时,人类仍应保留关键判断权。

他在最后写道:“你可以将工作和大部分审核任务交给 AI,但不能将责任也一并交出去。”

Found an error? Send a correction