- 发布日期
Claude Fable 5以64%的绝对成功率再次登顶MirrorCode榜单
- 作者

- 姓名
- 荷鲁斯快报
- 社交账号
在最新公布的MirrorCode编程基准测试中,Claude Fable 5以64%的绝对成功率再度登顶,将竞争对手远远甩在身后。紧随其后的GPT-5.6 Sol得分仅为Fable 5的三分之一,而排名第四的GPT-5.5不仅成绩跌至10%,甚至被自家前辈GPT-5.4反超。这一断层式差距,标志着AI编程能力已进入新阶段。
MirrorCode由Epoch团队开发,旨在测试模型从零构建完整软件项目的能力。测试包含25个目标程序,覆盖Unix工具、解释器、生物信息学等领域。模型被置于隔离环境,没有互联网访问权限,只能通过反复向原程序输入数据、观察输出来猜测内部逻辑,最终用另一种语言实现行为一致的新程序。榜单选取15个中大型目标,每种语言运行三次,可见与隐藏测试完成率必须达到100%才算通过,漏掉一个边缘案例即判定失败。
为迫使模型补齐最后缺口,单次测试预算高达100亿Token,最长允许连续运行7天。论文中成本最高的一次任务持续19天,单次花费2600美元。以生物信息学工具gotree为例,该工具原有1.6万行Go代码和40多个命令,Claude Opus 4.7耗时14小时花费251美元,通过了2001项测试中的2000项,完成度达99.95%,仅因一个冷门日期注释边界未通过。Epoch估计,人类工程师完成同等任务需2至17周。
值得关注的是,Fable 5在语言切换中表现出惊人的稳定性。当从高资源语言Go切换到冷门语言Ada时,其解出率仅从64%微降至61%。在开源世界中,Python语料约为Ada的230倍,但Fable 5的成绩几乎不受语料稀缺影响。相比之下,GPT-5.6 Sol从24%降至19%,GPT-5.4从21%降至12%,GPT-5.5则从17%跌至5%。这表明最强模型已摆脱对具体语料的记忆依赖,转而学会理解程序逻辑并用新语言重建。
这种能力正推动开发者将更庞大的任务交给AI。Cursor曾让数百个Agent协作近一周,写出超过100万行、分布在1000个文件中的浏览器代码;Anthropic则让16个Agent并行运行近2000次会话,构建出一套能编译Linux 6.9内核的10万行C编译器。OpenAI数据显示,截至5月,70.2%的Codex用户提交过预计耗时超过1小时的任务,25.6%提交过超过8小时的任务。
MirrorCode的64%通过率,是对“项目级委托”的量化证明。只要目标明确且结果可自动验收,前沿模型已能独立完成部分中大型软件。对普通开发者而言,工作方式正在转变:从逐行盯代码,变为在关键节点检查方向。代码生成成本将大幅下降,而清晰定义问题与验证结果的能力,将成为更稀缺的竞争力。
展望未来,随着模型在语料荒漠中仍保持高完成度,AI编程正从“代码补全”迈向“系统构建”。尽管100%通关线仍卡住许多模型,但14小时完成两周工程量的案例已预示,软件开发的效率革命刚刚开始。如何设计可靠的验收标准,将决定这一进程能走多远。