
英伟达周五发布的一项新研究指出,在让 AI 执行长周期任务时,包裹模型的「缰绳」(harness)——即工具、内存管理和规则等软件封装层——比底层模型本身重要得多。通过定制的缰绳,研究团队让 Claude Opus 5 在 ARC-AGI-3 推理基准上达到了 100% 的满分。
英伟达周五发布了一项有趣的新研究,表明在执行长周期任务时,AI 模型周围的「缰绳」(harness)远比底层模型本身更重要。缰绳是 AI 模型周围的软件封装层——包括工具、内存管理和规则,它将一个原始模型转变为能够自主行动的系统。
简而言之:通过使用一个经过定制、擅长处理记忆并包含类似「监督者」组件的缰绳,研究人员让 Claude Opus 5 在交互式推理基准测试 ARC-AGI-3 上获得了 100% 的分数——这是一组没有说明书的 2D 游戏,模型需要像人类一样摸索如何游玩和获胜。(这是一个让竞争对手前沿实验室 OpenAI 尤为头疼的基准测试。)没有缰绳的情况下,Opus 5 仅获得 30%,这是所有测试模型中的最高分。
英伟达的研究表明,虽然模型选择确实重要,但模型本身——作为智能体「大脑」的部分——在整个智能体系统中所占的比重比许多 AI 用户意识到的要小得多,尤其是在长周期任务中。缰绳才是让模型成为智能体的关键:它处理记忆、上下文和反馈。
「一般来说,世界将智能体几乎等同于模型的 API,」英伟达 AI 部门产品副总裁 Adel El Hallak 告诉 TechCrunch。但智能体实际上不止于此。「它是模型。它是模型周围的脚手架,我们称之为缰绳,即它使用的一组工具。它是运行环境以及我们赋予它的相关技能和库。」
长周期任务是需要将许多决策串联起来、有时需要数天才能完成工作的任务,这与 AI 只是对用户提示做出回应形成对比。弄清楚如何让 AI 执行长周期任务而不分心、不跑偏,是行业中最棘手的挑战之一——这也正是英伟达声称其缰绳方法具有优势的领域。
英伟达的研究人员使用了名为 Avo(智能体验证与编排,Agent Verification and Orchestration)的缰绳。Avo 包含一个专门的内存系统,让 AI 智能体能够记住过去几天的上下文,以及一个「监督者」组件,可以检查智能体是否仍按计划行事,并确保它不会偏离任务。
El Hallak 表示,Avo 对于希望创建能够处理复杂多步骤任务(如编写代码、生成内容或创建 3D 仿真)的 AI 智能体的企业来说很有价值,但 Avo 在实际部署中可能还需要额外的安全检查。
来源:TechCrunch