Back Rohan Paul

Rohan Paul· @rohanpaul_ai · X· 2026-11-02 16:51 · Original publication time AI score54

Tsinghua and Microsoft paper proposes HarnessMM to skip model calls after preset checks passMachine translation

AI introduction

HarnessMM has the model specify future commands and checks in advance; when a tool result passes a check, the agent executes the next command without another model call. Across 98 HumanEval tasks, Codex maintained 90.82% success while using 29.54% fewer tokens; DeepSeek Harness success rose from 71.43% to 85.71% while using 87.93% fewer tokens.

Original post · AI translation

Rohan Paul@rohanpaul_ai

Translation · refer to the original

清华大学与微软的一篇新论文发现，在98道HumanEval任务上，DeepSeek Harness使用的token比其原始版本减少了87.93%，成功率则从71.43%升至85.71%。

Codex和DeepSeek Harness等智能体工具会在每次工具返回结果后调用大语言模型，以选择下一步。很多时候，下一步其实已经确定，例如代码编译成功后运行测试。

HarnessMM让模型预先写出带有确切参数的后续命令，并为每条命令设置一项检查条件，例如构建成功。当工具结果通过检查时，智能体就执行该命令，跳过大语言模型调用。

在98道HumanEval任务上，Codex的成功率保持在90.82%，使用的token比普通Codex减少了29.54%。DeepSeek Harness的成功率从71.43%升至85.71%，使用的token比原始版本减少了87.93%。

如果你的智能体会执行编写代码、构建、测试等可预测的连续步骤，就让模型一次性规划这些步骤并设置通过条件，而不是每一步都重新询问模型。

16:51 · 2026-11-02 · UTC+8

Found an error? Send a correction