- 发布日期
免训练层可将任何开源大语言模型转化为校准决策模型
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
诺基亚的应用研究团队已将 AnyJev 开源，这是一个 Python 库，能够在无需任何训练的情况下，将任何开源大语言模型转化为经过校准的决策模型。该工具针对一个特定的生产任务：从一组固定的选项中选择一个答案，而非生成自由形式的文本。它可以从 PyPI 安装，基于 Apache-2.0 许可证发布，并同时支持 transformers 和 vLLM 后端，具备共享前缀评分功能。由于无需微调，团队可以将其部署在已在生产环境中运行的模型上。
AnyJev 的接口借鉴了 Jev，即 TypeSafe AI 于 2026 年 9 月推出的 System One 决策模型。用户提交一个类型化的问题，获得一个决策以及一个可以设置阈值的概率。该概率直接从模型的下一个 token 分布中读取，没有经过任何生成、解析或训练。该库支持三种问题类型：选择题（从 K 个选项中选出一个）、布尔题（回答是或否）以及评分题（将答案归入若干有序分箱之一）。
诺基亚研究团队指出了一种常见捷径的两个缺陷：将下一个 token 限制为选项标签并直接读取分数。首先，当选项重新排序时，答案可能发生变化；其次，由此产生的概率并非经过校准的。团队指出了先验偏差（模型无论输入如何都偏好诸如"是"之类的标签而忽视"否"）和位置偏差（模型偏好选项列表中的某些特定位置）。
AnyJev 通过其默认的 L0 层级来解决这两个问题。它以 K 种轮转方式显示 K 个选项的列表，使每个选项在每个位置上各出现一次，然后在对数空间中以几何平均值的方式合并结果，如果偏差在对数几率空间中是加性的，则能精确消除位置偏差。它还应用了批量校准，在 8 个项目后以 0.75 的强度除以预测分布的运行均值。L0 每次决策需要 K 次前向计算，在单张 H100 上批大小为 32、K = 20 时约为 0.25 秒。
对于具有 100 到 500 个标签的问题，L1 在 L0 的基础上增加了温度缩放，将拟合值保存为一个小的 JSON 产物，在不改变答案排序的情况下重塑置信度。在 Qwen3-8B 上进行 20 路 BANKING77 基准测试（300 个测试样本），L0 将顺序翻转率从 0.230 降至 0.073。在 5% 误差阈值下，L1 使可自动决策的流量从 7.7% 提升至 52.0%，而 L0 在所有九组已测试的模型和任务行中都降低了顺序翻转。
在类型化决策集上，Qwen3-32B 搭配 L1 达到了 0.036 的期望校准误差，而 Jev 公布的数值为 0.144，不过微调后的 Laya 在准确率上仍然领先。完整的消融表涵盖了 Qwen、OLMo、Granite、Phi 和 Mistral 等模型。研究团队的吴（Wu）表示，团队已在诺基亚内部的一个路由问题上试用了 AnyJev，并看到了有希望的结果。
实践者只需几行 Python 即可上手，围绕 Hugging Face 后端构建 Decider 并定义命名的选择题。对于服务部署，他们可以将 VLLMBackend 指向一个启用了前缀缓存的 vLLM 实例。此次发布预示着在生产环境的路由和分类任务中，可以利用开源模型实现可靠的、可设定阈值的决策。
