Optima通过让用户使用自己的数据测试模型，解决了AI基准测试的最大缺陷

以独立LLM评估而闻名的人工智能分析公司（Artificial Analysis）推出了Optima平台，该平台允许用户根据自己的数据或用例描述创建自定义AI基准测试。这解决了通用基准测试的一个关键缺陷：它们往往无法表明哪种模型最适合特定工作流程。该平台现已上线，用户可以比较模型的质量、每任务成本和每任务时间。

传统基准测试在预定义的任务和标准上比较模型，但现实世界的应用差异很大。Optima通过让用户从文件或Hugging Face上传自己的评估数据集，或从Arize、Braintrust和Langfuse等平台导入AI代理轨迹来弥补这一差距。开发者还可以安装一个技能，从他们的编码环境和过去的会话中收集信息。

对于没有现有数据的用户，Optima接受预期用例的描述以及示例输入和输出。然后平台会生成建议的测试输入、评估标准和示例任务，用户可以在运行基准测试之前通过反馈进行完善。这使得自定义基准测试即使是非专家也能使用。

Optima提供两种评分方法：基于评分标准的客观标准评估，以及人工智能分析公司自己的基准测试（如GDPval-AA和AA-Briefcase）中使用的成对比较方法。在成对比较中，用户评估一组响应对样本并表明偏好，平台据此在测试数据集上得出完整排名。

除了质量之外，Optima还将每任务成本和每任务时间作为独立的比较维度进行跟踪。这有助于用户判断性能提升是否值得更高的成本或更慢的处理速度。对于智能体（agentic）应用，仅看原始令牌（token）价格是有误导性的，因为更便宜的模型可能需要更多的尝试或清理，因此每完成任务的成本更有意义。

早期测试者已将Optima用于各种场景。有些人构建了基准测试。

把任意网站变成干净 JSON

现成爬虫与 AI 智能体

试用 Apify