谷歌最新研究:AI智能体只改一处代码,任务成功率暴涨8倍

谷歌最新研究:AI智能体只改一处代码,任务成功率暴涨8倍

凤凰网科技讯 北京时间11月20日,谷歌一篇题为《Harnesses That Improve Themselves》(《能够自我改进的Harness》)的研究论文提出,AI智能体可以通过持续优化自身运行框架,显著提升任务完成能力。研究显示,在一项软件工程测试中,采用模块化修改与验证机制的AI智能体,任务成功率从5.0%提升至40.0%,同时大幅降低了相比整体重写方案的Token消耗。

谷歌最新研究:AI智能体只改一处代码,任务成功率暴涨8倍

所谓Harness,是指围绕AI模型构建的一套运行框架,负责管理上下文、调用工具、检查任务执行结果,以及决定何时停止工作。研究指出,同一套Harness在不同AI模型上的表现可能存在明显差异,为某个模型优化的框架,迁移到另一个模型后可能出现任务停滞或Token消耗过高等问题。

为解决这一问题,研究人员提出了一种可自我改进的Harness框架,让优化模型通过修改代码来提升智能体的执行效率,而不只是调整提示词。

在实验中,研究人员使用了一套仅有142行代码的编程智能体Harness,并将其划分为四个可编辑模块。每轮优化只允许修改其中一个模块,随后通过验证集测试修改效果,同时设置Token使用上限。只有满足验证要求的修改才会被保留,否则将被舍弃。

研究人员使用Gemini 3.8 Flash模型,在40道未参与优化的SWE-bench Lite软件工程任务上进行了测试。结果显示,初始Harness仅能解决5.0%的任务,而经过模块化优化及验证机制筛选的Harness,成功率达到40.0%,平均每项任务消耗约4.67万Token。

相比之下,如果允许优化模型不受限制地整体重写Harness,任务成功率可达到42.5%,略高于模块化方案,但平均每项任务需要消耗约45.16万Token,接近后者的10倍。

另一项对比实验显示,仅通过提示词规则约束智能体行为,任务成功率反而下降至2.5%。

这一结果表明,增加智能体运行框架的复杂度,并不一定能带来更高的执行效率。虽然整体重写方案获得了略高的任务成功率,但其Token成本大幅增加;相较而言,逐个模块优化并设置验证门槛,能够在任务表现与计算成本之间取得更好的平衡。

研究还强调,智能体的重要运行约束应尽可能通过代码机制落实,而不是单纯依赖提示词。例如,对每次修改实施自动测试,并以任务成功率和Token消耗作为是否接受修改的依据,可以减少无效优化带来的资源浪费。

随着AI智能体逐步从简单问答转向软件开发、多工具调用及复杂任务执行,Harness正成为影响模型实际表现的重要因素。这项研究提供了一种新的优化思路:不必重新训练底层模型,也可以通过改进模型外围的执行框架,提高任务完成率和Token使用效率。

不过,研究结果目前主要来自特定模型和40道软件工程测试任务,相关方法能否在更多模型、不同类型的智能体任务及长期运行环境中取得类似效果,仍有待进一步验证。(编辑/于雷)

更多一手新闻,欢迎下载凤凰新闻客户端订阅凤凰网科技。想看深度报道,请微信搜索“凤凰网科技”。