- 发布日期
FreeToken通过动态协同执行实现消费级硬件上的前沿MoE推理
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
加州大学伯克利分校和麻省理工学院的研究人员发布了FreeToken，这是一款开创性的开源推理引擎，旨在消费级硬件上运行超大规模的混合专家模型。这项由Databricks联合创始人马特伊·扎哈里亚和伊昂·斯托伊卡与韩松等人共同推进的研发成果，从根本上重新思考了边缘人工智能的理念：将个人电脑视为弹性计算网络，而非受限节点，旨在让原本局限于数据中心的强大AI模型实现全民共享。
其核心挑战在于混合专家模型的工作原理。尽管每个token仅计算部分参数，但解码过程仍需跨越数千亿未激活的权重进行路由。在数据中心环境中，NVLink等高速互连技术可掩盖此开销，但在消费级硬件上，有限的PCIe带宽和内存延迟会造成严重瓶颈，导致传统系统在数据传输时完全停滞。
FreeToken通过创新的动态协同调度策略'q*'攻克了这一难题。当出现缓存未命中时，它不会中止GPU运行，而是实时智能分配CPU与GPU的计算任务。借助快速权重格式与高级双重缓冲技术，该系统实现了权重流式传输与活跃计算的重叠执行。弹性内存管理器还能动态分配视频内存，实时平衡缓存与模型专家的需求，从而避免代价高昂的重新加载操作。
该系统还引入了语义锚点检查点机制，这对现代AI智能体至关重要。当智能体修改提示词或注入新数据时，传统引擎会丢弃缓存并重新计算所有内容。而FreeToken则在逻辑任务边界处缓存中间状态，复用先前计算结果，极大加速了编程助手和自主智能体常见的迭代工作流。
基准测试显示FreeToken在消费级设备上表现卓越：在配备8GB RTX 4060的笔记本电脑上运行Qwen3.6-35B模型时达到约每秒39个token的生成速度；更令人瞩目的是，它能在RTX 5090台式机上运行拥有2840亿参数的DeepSeek-V4-Flash模型，并在单个工作站GPU上处理7530亿参数的GLM-5.2模型，充分展示了其扩展至前沿级模型的能力。
对比测试凸显出其相对于Ollama、vLLM和KTransformers等现有工具的优势。研究人员报告称，得益于在主机与设备内存间进行的实时自适应负载分配，FreeToken在相同混合专家模型上的解码速度提升3-4倍，预填充速度提升6-30倍。
社区反响热烈。在Hacker News等平台上，工程师们盛赞该技术实现了本地化掌控强大AI而无需持续支付云服务费用的潜力。该项目现已通过FlashML.ai和GitHub开源，支持Linux和Windows系统下的NVIDIA RTX 30、40和50系列GPU，标志着高级人工智能实现真正普惠的重要一步。
