荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

MiniMax的低价攻势,撞上“背题”疑云

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

10月19日,MiniMax发布新模型M3.1 Flash后,围绕其榜单高分与疑似“背题”的讨论迅速升温。有用户转发AI评测博主“猫老板”的测试反馈称,“m31f,老题接近满分,新题接近0分”。一边是大量调用,一边是能力割裂的质疑,这款低价模型被推至舆论焦点。

发布当日,独立评测机构Artificial Analysis给M3.1 Flash的综合智能指数打出42分,比6月发布的M3高出13分,只比DeepSeek V4.1 Flash-1017低3分。据报道,M3.1 Flash上线72小时处理的Token超过100万亿。截至10月25日,仅在OpenRouter近七日榜单上,其免费版本处理约13.7万亿Token,排名第三;DeepSeek V4.1 Flash-1017以33.6万亿Token排名第一。

在质疑出现前,M3.1 Flash已以匿名模型“太空兔”收获关注。9月,Space Bunny Alpha登陆OpenRouter开放免费调用,连续十天调用量第一,跑出56.7万亿Token,创下该平台匿名模型最高纪录。10月19日,MiniMax揭晓太空兔即是M3.1 Flash早期版本,匿名公测期间已处理超过200万亿Token;公司还披露正式版成本下降70%。AA测试显示,跑完同一任务,M3.1 Flash平均费用约0.22美元,低于M3的0.51美元和DeepSeek V4.1 Flash-1017的0.26美元。

猫老板是私人榜单“致知”的维护者,该榜单使用按月迭代的私有题库,留存部分旧题并纳入新题。他提出的核心疑点是,M3.1 Flash在留存旧题上得分接近满分,面对新增题目时得分近乎归零。他还观察到Token消耗模式反常:模型平均每题消耗四万多Token,但部分难题只用约一万Token就给出正确结果。

AI测评博主Binkg用改题实验进一步测试“背题”猜测。他选了一道AA公开样题,原题问生产管理产能规划中哪种长期规划方法预测新工厂数量、位置和规模,答案是资源需求计划(RRP);他把“长期”改为“中期”,答案应变为粗能力计划(RCCP)。在Binkg贴出的结果中,DeepSeek V4.1 Flash-1017和Gemini 4 Argon随新题答出RCCP,M3.1 Flash仍回答RRP。Binkg还指出,AA-Omniscience中M3正确率为16.7%,M3.1 Flash达56.2%,提高39.5个百分点;同期Kimi K3.1 Pro仅从47.6%升至51.0%。

AA-Omniscience的测试还留下矛盾数字:M3.1 Flash正确率56.2%,幻觉率却高达92.8%;上一代M3在该测试中经常选择不答,幻觉率只有18.4%。但在Plotly与Mila研究人员联合搭建的数据分析测评中,M3.1 Flash全部43道题答对41道,太空兔通过38道;每题耗时中位数从太空兔的36秒增至3分钟。

为复刻Binkg的改题试验,有测试者将改后的英文原题分别向MiniMax M3.1 Flash、豆包快速模式和DeepSeek V4.1 Flash-1017提问。结果与Binkg一致,豆包和DeepSeek随新题改答,MiniMax仍回答RRP;把题目翻译成中文并各开新对话后,三者全部答对。不过,“背题”指控尚缺少请求日志或训练记录支持,模型答出旧答案也可能涉及训练材料中的题目或概念混淆。

10月23日,MiniMax按此前公布的计划开放M3.1 Flash模型权重。低价与高调用量为其带来市场关注,但“老题全会、新题抓瞎”的疑云,仍需更透明的评测与日志验证。对MiniMax而言,如何在价格战之外证明模型真正解题能力,将成为后续观察重点。

阅读原文 →来源:tmtpost