- 发布日期
微软升级 Win11 的 AI 框架，实验性支持 GGUF 与 ONNX 原生本地推理
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
微软正在升级 Windows 11 的本地 AI 推理框架 Windows ML。科技媒体 NeoWin 10月8日发布博文称，微软与 llama.cpp 和 GGUF 开源社区合作，实验性原生支持 GGUF 与 ONNX 格式模型推理，并推出 Windows ML Runtime API。在 Windows 与 Surface 十月活动中，微软介绍了 Windows ML 的最新进展。
Windows ML 面向 Windows 11，开发者可在设备端运行 AI 模型，构建文本生成、语音识别等应用，并减少对特定硬件优化的依赖。通过社区合作，开发者可通过 llama.cpp 的实验性集成，从 Hugging Face 导入 GGUF 模型并本地运行。微软还携手英伟达，向 llama.cpp 及相关性能优化贡献代码。
Windows ML 新增实验性 Windows 原生推理路径，可运行 ONNX 与 GGUF 两类模型。该路径正式名称为 Windows ML Runtime API。微软称其具备更高性能、更深的系统集成及更细粒度的控制能力。
GGUF 是常用于本地运行大语言模型的模型文件格式，开发者可从 Hugging Face 等平台获取，并通过 llama.cpp 等工具在个人电脑上加载与推理。ONNX 是开放神经网络交换格式，用于在不同框架和硬件间迁移 AI 模型。ONNX Runtime 是其常用运行环境，可支持模型在 Windows 设备上的推理部署。
在 Windows ML Runtime API 支持下，微软同时推出 Text Generation API 与 Speech Recognition API。开发者可使用这两组接口构建文本生成与语音识别功能。微软表示，ONNX Runtime API 仍获完整支持；未来针对 Windows 的优化将优先投向 Windows ML Runtime API。
两种运行时均已包含在当前版本中，开发者可按熟悉程度选择迁移时机。随着实验性原生推理路径推进，Windows 11 本地 AI 开发将获得更多格式与接口选择。微软与开源社区、英伟达的合作，也将影响后续性能优化方向。
