Apple study finds app and database diversity matters for training tool-use agentsMachine translation

苹果的一篇新论文发现，随着训练数据增加，工具使用型智能体从更多样的应用和数据库状态中获得的收益，比从更多任务中获得的收益更大。

合成训练数据的组合，而不只是其规模，决定了工具使用型智能体在新基准测试上的泛化能力。

团队在合成环境中训练工具使用型智能体，而大多数流程侧重于生成更多任务。此前尚不清楚，新工具、新任务或新的初始数据究竟哪个最重要。

他们构建了 SynthAPI：让大语言模型编写具有真实 Python 工具和数据库的合成应用，再编写带有自动成功判定机制的任务。他们在训练的 849 个模型中调整了应用、任务和数据库版本。

在固定的 32,768 项任务预算下，增加应用和数据库版本使一个 4B 模型在 AppWorld 的挑战测试集上的成绩从 38.4% 提升至 45.0%。他们考虑数据组合的规模定律预测规模更大的留出测试运行时，误差为 0.0285，而只考虑任务数量的规模定律误差为 0.1706。