- 发布日期
每小时重建查询集的实时搜索基准
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
Keenable AI 推出了 NEEDLE，这是一个开源的实时基准测试，旨在评估网络搜索 API，通过动态重建其查询集来防止结果作弊。它所解决的核心挑战是搜索代理可能访问静态公共数据集中的答案或依赖现有的参数记忆，这会削弱测试实际检索能力的有效性。NEEDLE 从各种公共来源持续生成新查询，以确保在不同领域对搜索性能进行公平且有意义的评估。
该基准通过频繁重新生成查询集来运作：新闻查询从 RSS 订阅源和 Google Trends 每小时更新，而金融、学术、法律和稀有实体查询则从 SEC XBRL、arXiv 和 CourtListener 等来源每日刷新。这种实时方法确保测试数据保持相关性，且无法被被评估的 AI 代理预测或查询到。十五个不同的搜索 API 在标准化协议下针对相同的查询文本运行，性能以甲骨文引擎为基准进行衡量。
NEEDLE 代表新闻、日常、专家、深度尾部和法律评估，每个类别模拟不同类型的搜索意图。评分方法针对每个垂直领域量身定制；例如，金融任务使用 answer-recall@5 来检查某个事实是否出现在前五个结果中，而新闻和深度尾部则使用 LLM 评判者来评估相关性。该系统作为开源的 Python CLI 运行，允许研究人员在标准硬件或 CI 管道中重建查询流并运行评估。
一个关键创新是“终极”上限，它将每个测试引擎的结果汇总到一个合成甲骨文中。这为当前搜索质量提供了一个经验上限，揭示了性能差距是源于个别引擎的弱点，还是整个领域普遍存在的更广泛的检索问题。因此，该基准区分了市场中的排名问题和系统性检索限制。
截至 2026 年 8 月 28 日的最近 7 天平均值显示，不同领域的表现各异。金融领域似乎已接近解决，顶级引擎如 Exa 在终极上限为 0.965 的情况下得分 0.910。学术任务显示更大的分散性，从 Keenable 的 0.774 到 Tavily 的 0.310，而深度尾部查询——被认为是最困难且最具代表性的实际代理流量——Exa 以终极分数的 0.557 领先。
通过使评估既动态又透明，NEEDLE 为研究界提供了一个跟踪智能搜索真正进展的严格工具。其开源性质和可重复设计有望促进更诚实的基准测试和该领域的加速发展，超越可能被无意或故意规避的静态测试。
