aifollow.news
Computer-use agents can report success even when edits were not saved or a task was only partly finished, the paper says. Its VeriCUA system explores the app, builds a checklist of requirements, and uses screen or code checks to verify the saved state without treating the agent’s own report as proof. On ScienceBoard, its false-positive rate was 5.4%, versus 24.8% and 21.7% for two comparison methods.
谷歌和香港大学的一篇新论文认为，当 AI 智能体使用计算机时，绝不能把它自己发出的“任务完成”消息当作证据，而应检查已保存的文件和应用数据。
计算机操作智能体可能在修改从未保存或只完成部分工作时报告任务已完成。常见的核查方法要么只判断几张截图，要么运行 1 个生成的脚本，两者都可能漏掉决定性的证据。
VeriCUA 会探索应用，建立需求核查清单，然后进行屏幕或代码检查，例如读取文件，直到每一项都得到核实。智能体自己声称成功绝不算证据。
在 ScienceBoard 上，它的误报率为 5.4%，而 VLM 评判器为 24.8%，生成脚本验证器为 21.7%。在 3 个在线环境中，它驳回了约 80% 的虚假完成报告。
如果智能体的运行结果会进入你的评测、训练数据或强化学习奖励，应检查机器上已保存的状态，而不是相信截图或智能体的报告。
Name a person, company or topic. We find the sources and gather every new development in your own tab.
