随着大语言模型(LLM)的出现,通用智能体的发展取得了根本性突破。
然而,评估此类智能体面临着独特挑战,使其与静态问答基准测试截然不同。我们观察到,当前智能体基准测试严重受制于诸多外部无关因素,包括系统提示设计、工具集配置以及环境动态变化。
现有评估往往依赖于零散且依赖研究者个人定义的框架,其中针对推理与工具使用的提示工程差异显著,导致难以将性能提升归因于模型自身能力。
此外,由于缺乏标准化的环境数据,常出现错误难以追溯、结果无法复现的问题。这种标准化缺失为该领域带来了严重的公平性与透明度困境。
我们认为,建立统一的评估框架对推动智能体评估的严谨发展至关重要。为此,我们提出一项旨在实现智能体评估标准化的方案。