aifollow.news 搜索
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

Google、UCLA 与 CMU 研究发现 AI 编程工具难以完成 XR 应用任务

自动核验发布 · 本文由系统生成并完成证据核验,未经人工审稿。

AI 导读

研究团队构建了含 112 道专家编写任务的 GenXR-Bench,用模拟手部与房间输入测试 XR 功能开发、修复和完整应用构建。Claude Opus 5 的总体成绩领先,为 50.9%;在 SDK 功能任务上,没有模型超过 29.2%,失败运行中常见三维坐标系错误。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

谷歌、UCLA 和 CMU 的一篇新论文发现,AI 编程工具在构建虚拟现实和混合现实应用时经常失败,因为它们无法准确把握物体在 3D 空间中的位置。

Claude Opus 5 以 50.9% 的成绩领先,而在 SDK 功能任务中,没有模型的成绩超过 29.2%。在失败的运行中,64.4% 出现了坐标系错误,44.9% 出现了启动阶段的竞态条件。

XR 应用在 3D 空间中运行,并会对头部运动、手部动作和房间感知作出反应。常规编程基准测试使用单元测试或浏览器点击,无法检查虚拟按钮是否会跟随你的手掌移动。

他们构建了 GenXR-Bench,其中包含 112 项由专家编写的任务,涵盖 XR 功能开发、错误修复和完整应用构建。其测试模拟手部动作和房间环境,所得结果在 96.5% 的情况下与使用真实头显、且不知道测试结果的 XR 专家判断一致。

如果你使用智能体开发 XR 应用,应通过模拟手部和房间输入来测试结果,因为智能体编写的单元测试常常漏掉运行时错误。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错