原帖引用 · AI 翻译
标题：“HarnessMM：通过递归自我改进提升 Harness 的 Token 效率”
清华大学和微软的一篇新论文发现，在 98 道 HumanEval 任务中，DeepSeek Harness 使用的 Token 比其原始版本少 87.93%，成功率则从 71.43% 升至 85.71%。
Codex 和 DeepSeek Harness 等智能体工具会在每次获得工具结果后调用大语言模型，以决定下一步。通常，下一步其实已经确定，例如代码编译成功后运行测试。
HarnessMM 让模型预先写出带有确切参数的后续命令，并为每条命令设定一项检查条件，例如构建成功。当工具结果通过检查时，智能体就执行该命令，跳过对大语言模型的调用。
在 98 道 HumanEval 任务中，Codex 的成功率保持在 90.82%，使用的 Token 比普通 Codex 少 29.54%。DeepSeek Harness 的成功率从 71.43% 升至 85.71%，使用的 Token 比原始版本少 87.93%。
如果你的智能体会执行编写代码、构建、测试等可预测的连续步骤，可以让模型预先规划一次，并为各步骤设置通过条件，而不是每一步都重新询问模型。
原文
New Tsinghua and Microsoft paper finds that DeepSeek Harness used 87.93% fewer tokens than its original version on 98 HumanEval tasks while success rose from 71.43% to 85.71%. Agent tools like Codex and DeepSeek Harness call the LLM after each tool result to choose the next step. Often that step was already decided, like running tests once the code compiles. HarnessMM lets the model write future commands with exact arguments, plus a check for each, such as a successful build. When a tool result passes the check, the agent runs the command and skips the LLM call. On 98 HumanEval tasks, Codex kept its 90.82% success while using 29.54% fewer tokens than plain Codex. DeepSeek Harness rose from 71.43% to 85.71% success and used 87.93% fewer tokens than the original. If your agent runs predictable chains like write, build, test, have the model plan them once with pass checks instead of re-asking each step.