- 发布日期
LLM能自己设计智能体框架吗？字节跳动Seed的HarnessDev称64项更改中仅34项可泛化
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
字节跳动Seed团队及其合作者推出了HarnessDev，这是一个测试大语言模型（LLM）能否自行设计智能体框架（agent harness）的框架。在一项日期为2026年9月11日的研究中，64项进化变更中仅有34项能够跨任务泛化。该工作对基准测试中保持框架固定的常见做法提出了挑战。
智能体框架是模型周围的代码：执行循环、工具、上下文、状态、恢复和验证。在Terminal-Bench 2.1上，GPT-5在Terminus 2内解决了35.2%的任务，但在Codex CLI内使用相同权重解决了49.6%的任务。HarnessDev反转了目标：被评估的工件是模型编写的可运行框架。
该框架包含两个阶段。在创建（Creation）阶段，每个创建者会收到一个弱种子（weak seed），其中没有循环、规划器、验证器、重试或停止规则；未经修改时，它在所有地方都得零分。在进化（Evolution）阶段，创建者利用来自100个SWE-bench Pro任务和全部89个Terminal-Bench 2.1任务的反馈来修改其冻结的框架。
研究测试了六个创建者LLM，包括Opus 4.8、GPT-5.5和Gemini 3.1 Pro。在自我评估下，Opus 4.8以67.8的平均分位居最高，而人类工程设计的参考分数为86.2。最大的差距出现在搜索领域，其中最佳的BrowseComp得分为52.6，而参考分数为92.2。
代码量并不能预测质量：18个代码框架净增加了17,111行代码，然而Gemini增加的代码最少（1,006行），却在Terminal-Bench上领先。自测次数与得分几乎不相关，Spearman相关系数在0.13到0.26之间。研究人员观察到，许多生成的机制是惰性的（inert）。
这些发现表明，LLM能够改进框架，但泛化能力仍然有限。较低的泛化率表明，自我生成的框架尚未准备好进行广泛部署。这项来自字节跳动Seed团队和学术合作伙伴的研究，为智能体评估指出了一个新的方向。未来的研究可能会聚焦于改进进化过程并减少惰性代码。
