正文 · 原文
能连肝数日修Bug,免疫提示词注入
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
Argon发布两周啊,谷歌火速掏出新旗舰Gemini 4 Carbon。
这次一举 超越Claude Opus 5.5 和 GPT-6 Astra。
在刚刚更新的Artificial Analysis智能指数5.0中 以59分的高分强势登顶全球第一。
两周前谷歌刚发Gemini 4 Argon时,硅谷还在热议谷歌内部泄露的一个神秘存档点“Carbon”,当时内部工程师给出的评价还是“编程体感逼近Opus 5.5”。
没想到短短半个月,正式版Carbon不仅在智商与长程编程上完成了对Opus 5.5的正面反超,更在代码安全与防作弊上大幅领先。
甚至点亮100%免疫提示词注入天赋。
这什么残暴的进步速度,RSI真让他们给玩明白了?
Carbon首发阶段延续了Argon的半价折扣, 输入2美元/百万Token、输出10美元/百万Token ,账面单价仅为Opus 5.5 ($4/$20) 的一半。
并且针对Agent任务高频使用的缓存命中输入 (cached input) 给出了 95%的骨折价优惠 (低至0.2美元/百万Token) 。
超越Opus 5.5,还能连肝数日死磕底层Bug
两周前发布的Gemini 4 Argon虽然在长文本和多模态上表现惊艳,但在综合智能指数 (53分) 和部分硬核终端任务上,依然被Opus 5.5压了一头。
这一次,Gemini 4 Carbon精准补齐了最后一块拼图,直接将能力推向了“全天候自主工程师”的形态。
在谷歌内部的实战编程环境中,研发团队观察到令人瘫坐的一幕:
Carbon能够 连续运行好几天 ,在庞大复杂的代码库和底层系统中自己摸索;哪怕中途多次撞上“死胡同” (dead ends) ,它也能持续死磕到底,独立完成复杂的多步工程任务。从顺藤摸瓜定位极其隐蔽的Bug根因,到最终写出修复补丁,一气呵成。
Carbon能够 连续运行好几天 ,在庞大复杂的代码库和底层系统中自己摸索;哪怕中途多次撞上“死胡同” (dead ends) ,它也能持续死磕到底,独立完成复杂的多步工程任务。从顺藤摸瓜定位极其隐蔽的Bug根因,到最终写出修复补丁,一气呵成。
这种长线执行能力直接体现在了多项硬核指标的反超上:
命令行与终端工程
在Terminal-Bench 4.0 (AA测试集) 中,Carbon拿到 65.2% ,领先Opus 5.5 (59.6%) 和GPT-6 Astra (59.1%) ;
在科学终端任务Terminal-Bench-Science 0.1上同样以 64.8% 位列第一 (Opus 5.5为59.0%) 。
超长上下文与多步决策
在256k至1M上下文的GraphWalks测试中,Carbon拿到 96.2% ,大幅甩开Opus 5.5 (66.8%) 和Astra (71.8%) ;
在模拟长周期商业经营的Vending-Bench 2中,Carbon最终账户余额达到 16,484美元 ,接近Opus 5.5 (9,235美元) 的1.8倍。
全栈开发与企业任务
在WebDev Arena上,Carbon凭借前端组件与输出质量的提升,Elo分数上涨89分来到 1769分,虽然是 全球第四,但平均任务成本更低。
在衡量企业级工作流价值的Vals Index v2.2上也以 70.4% 微弱领先Opus 5.5 (70.2%) 。
不过,从第三方评测机构Artificial Analysis的拆解来看, Opus 5.5在纯代码工程领域依然保有一部分护城河 。
例如在谷歌自己公布的表格中,有两项指标Carbon未能登顶:
一项是衡量前沿软件工程的 FrontierSWE 2 ,GPT-6 Astra (65.5%) 与Opus 5.5 (62.3%) 依然排在Carbon (61.2%) 前面;
另一项是计算机操作基准 OSWorld-2.1 离线子集,Opus 5.5以87.2%保持第一 (Carbon为81.5%) 。
此外,在搭配各自官方CLI工具的Coding Agent专项指数上,Carbon配合谷歌Antigravity CLI得分为59分,仍以3分之差次于Claude Code加持下的Opus 5.5 (62分) 。
这一波反重力还是拖了哈基米的后腿。
但对于开发者而言,Carbon真正的杀伤力在于 Token消耗效率 。
独立评测数据显示,Opus 5.5虽然能力强,但推理过程极为冗长,完成单次Intelligence Index评估平均要消耗 17.3万输出Token。 而Carbon仅需 12.3万Token ,输出量减少了29%。
这意味着,即便未来Carbon恢复到与Opus 5.5相同的$4/$20标准定价,Carbon的单次任务平均成本 ($7.76) 也比Opus 5.5 ($10.04) 低23%左右 。
如果算上目前$2/$10的首发半价,Carbon在实际生产环境中的账单成本还不到Opus 5.5的四成。
补齐AI编程从“挖洞”到“打补丁”全满贯
除了常规编程,谷歌此次将Carbon的核心差异化卖点押注在了 网络安全防御全生命周期 上。
这也是被逼的没办法,总不能看着家前沿模型天天挖Chrome浏览器和安卓系统的漏洞是吧。
(以下外部基准测试均在移除安全护栏的满血状态下评估) :
第一步:大海捞针找真洞 (Finding real vulnerabilities)
网络安全防御的核心,是赶在黑客之前从真实软件中揪出深藏的复杂缺陷。在包含V8引擎、Linux内核等真实高危漏洞的 SEC-bench Pro 测试中,Carbon拿下了 88.2% ,不仅大幅甩开前代Argon (78.8%) ,更直接超越了OpenAI的GPT-6 Astra (85.4%) ,创下全新SOTA。
第二步:实战推演验风险 (Validating risk through exploitation)
面对成百上千个潜在漏洞,安全团队到底该先修哪一个?这需要模型像真正的攻击者一样,去验证哪些漏洞是真正可被利用的 (exploitable) 。
在著名的漏洞利用基准测试 ExploitGym 上,Carbon以 54.8% 的成绩再次刷新SOTA (此前Argon为35.1%) ,帮防御者精准排定修复优先级。
第三步:直击病灶打补丁 (Patching at the root cause)
找到并验证漏洞后,终极考验是直接写出能跑通、且不破坏原有功能的修复代码。在Collinear推出的 CWE-bench (涵盖73种常见弱点枚举的真实仓库审计修复测试) 中,Carbon达到了 71.0% ,全面碾压Claude Opus 5.5 (67.0%) 和Argon (68.0%) 。
除了刷爆外部榜单,Carbon在谷歌内部安全基准测试中,Carbon生成安全代码的成功率比Argon 提升了2倍以上 。
更夸张的战报来自谷歌自家的 Chrome浏览器团队 :在生成高质量安全补丁的实战对比中,Carbon的表现比另一家顶级实验室的大型前沿模型强出10倍以上。
整治Agent作弊,提示词注入100%免疫
模型在终端里连续跑几天,最令开发者头疼的往往不是算力账单,而是模型在遇到高压复杂任务时开始“耍小聪明” (Shortcut & Loophole Exploitation) 。
此前针对Terminal-Bench 4.0的第三方审计就曾揭露,不少高分模型在修不好Bug时,会通过修改测试脚本或走漏洞来伪造“测试通过”。针对这一顽疾,谷歌在Carbon的对齐训练上做了一次重点收敛:
作弊成功率直接干到0.0%
在终端操作基准 Terminal-Bench 4.0 上,Carbon在大幅提升整体准确率的同时,将“成功作弊率”硬生生压到了 0.0% ,连尝试走捷径作弊的比例都跌至 0.4%。
在谷歌内部团队的实况编程环境中,高严重性的失调警报 (misalignment alerts) 更是暴跌了 近80% 。
拒绝不懂装懂,幻觉率远低于竞品
在内部测试中,Carbon做出无根据断言 (unsupported claims) 的频率比Argon 降低了约2倍 。
面对证据缺失或操作受阻,它不再含糊其词或强行脑补,而是把方法论的局限性直接写进交付文档,或者拉出一张清晰的清单告诉人类“还缺什么条件”。
不懂就问,明确执行边界
面对模糊不清的需求,Carbon不会盲目瞎猜或强行推进,而是先检索相关信源,把发现的矛盾点摆到台面上与用户确认。
在端到端执行多步计划时,它的 越界操作 (overreach) 减少了26%,敷衍漏做 (under-service) 减少了29%。
提示词注入100%免疫
当Agent在野外读取网页、邮件和外部代码库时,极易遭到“间接提示词注入” (IPI) 的劫持。
在Gray Swan IPI基准测试中,前代Argon曾以0.7%的极低被攻破率领跑全。
而这一次,Carbon直接交出了 0.0%攻击成功率 的满分答卷,成功抵御了评估中的每一次攻击尝试。
14天闪击战背后:RSI全面提速
从9月底亮相、两周前刚刚全面铺开的Gemini 4 Argon,到今天横空出世、全面反超Opus 5.5的Gemini 4 Carbon。
CEO劈柴哥在x上更是凡尔赛地调侃道 (doge) :
我之前就说过,我们会 周期性地 发布模型……现在向大家介绍Gemini 4 Carbon。
我之前就说过,我们会 周期性地 发布模型……现在向大家介绍Gemini 4 Carbon。
结合此前曝出的内部信息来看,谷歌实际上在内部同时并行训练和评估了Argon、Barium、Carbon等多个Gemini 4存档点 (其中公开发布的Argon实为内部的Barium-B存档点) 。
在官方公告不起眼的角落里,谷歌DeepMind高级副总裁、首席AI架构师Koray Kavukcuoglu透露了真正的秘密:
“我们的研究人员正与我们的模型携手并进 (working hand in hand) ,以更快的速度推进能力演进,同时同步强化安全护栏。”
“我们的研究人员正与我们的模型携手并进 (working hand in hand) ,以更快的速度推进能力演进,同时同步强化安全护栏。”
换句话说,用最顶尖的AI去辅助训练、评估和优化下一代AI,已经在谷歌内部真正转了起来。
不过,谷歌还是你谷哥,发布≠上架。
由于Carbon具备较强的漏洞挖掘与利用能力,还要进行发布前测试流程。从本周开始,Carbon将率先向一部分网络安全防御人员开放。
还记得Argon从发布到真正给你用过了多久吗,这次等的也不会短就是了。
眼下Anthropic上市的关键节点上,这下该把Fable 5.5放出来了吧?
至于沉迷发中杯Terra模型和短信通知Dot的OpenAI,我祝他好运。
参考链接:
[1]https://blog.google/innovation-and-ai/models-and-research/gemini-models/introducing-gemini-4-carbon/
[2]https://x.com/sundarpichai/status/2115489219804352921?a=TCW5gQam8bc7T7enVWo&s=20