荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

本地跑 AI 新方案,调度 Mac / RTX PC 跨设备推理

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

英伟达近日以开源测试版形式推出Personal AI Router(PAIR)软件,旨在解决局域网内多设备协同运行本地AI模型的调度难题。该软件能够自动发现并整合局域网内的兼容计算资源,将来自Ollama、LM Studio等本地AI工具的请求智能分配至空闲设备,从而提升并发任务处理效率。英伟达将PAIR定位为类似“调度员”的角色,专注于在用户自建的局域网环境中优化AI负载分配。

根据报道,PAIR支持在多种硬件平台上运行,包括搭载M4及以上芯片的Mac设备、英伟达RTX系列PC以及DGX Spark设备。用户只需将软件部署在兼容设备上,即可形成统一的AI请求入口。该软件通过自动发现机制识别网络中的可用计算机,并将每个独立的AI任务分配给当前空闲的设备,无需用户为每一台机器单独配置AI应用环境。

在具体工作机制上,PAIR作为调度中枢,并不直接运行AI模型。模型执行仍由目标设备上的Ollama或LM Studio完成。当某台设备处于繁忙或离线状态时,PAIR会自动将新的AI请求转向其他已配对的空闲设备。这种设计特别适用于需要并行处理多个独立任务的场景,例如AI智能体同时审阅多份文档。

需要明确的是,PAIR的并发负载分担机制旨在提高多任务整体处理吞吐量,而非加速单个AI回复的生成速度。其核心价值在于充分利用局域网内散布的闲置算力,避免资源浪费。对于拥有多台闲置计算设备的家庭或小型办公环境,该软件提供了一种低成本的资源整合方案。

在英伟达提供的演示案例中,使用Hermes框架配合Ollama及Qwen 3.6 35B A3B模型,将任务拆分给5个AI子智能体后,单台RTX Spark笔记本的平均完成时间为18分钟。当引入DGX Spark和RTX 5090等额外计算资源后,通过PAIR进行调度,平均完成时间缩短至8分48秒,效率提升显著。

目前,PAIR仍处于开源测试阶段,其后续的正式版本功能与稳定性有待观察。然而,它代表了一种新的趋势,即利用软件层面对分布式本地算力进行智能整合与调度。随着本地AI应用的普及,这类工具可能在优化用户体验和提升设备利用率方面发挥日益重要的作用。

英伟达通过发布PAIR,进一步巩固了其在AI硬件和生态系统领域的领导地位。该软件为用户提供了在现有硬件投资上最大化AI性能的新途径,也可能激发更多关于本地化、分布式AI计算的开发与讨论。未来,PAIR的演进或将与英伟达的硬件产品线更深度地结合,推动本地AI应用场景的拓展。

阅读原文 →来源:ithome