荷鲁斯快报 (DeepHorus) 是一个专注于人工智能、加密与区块链、科技创新及前沿交叉领域的科技资讯平台。
发布日期

性能超 iPhone,端侧 AI 超级快

作者
  • avatar
    姓名
    荷鲁斯快报
    社交账号

小米近日在技术沟通会上展示了两款搭载自研玄戒芯片的工程原型机,揭示了其在端侧AI算力上的最新突破。其中一款是配备主动散热风扇的折叠屏设备,能在完全离线状态下本地运行小米MiMo 3B大模型。另一款名为“AI Cube”的桌面计算终端,则凭借强大的散热设计和高容量内存,在本地直接部署了120B参数的大模型。

这两款原型机分别代表了小米在端侧AI硬件探索上的两个方向:移动设备的轻量即时响应与桌面终端的重度复杂推理。它们均搭载了小米新发布的玄戒O100等芯片,该芯片在纸面规格上性能激进,例如Geekbench 6.5多核跑分超过1.5万分。

在折叠屏原型机的实际演示中,当断开网络后,用户输入复杂提示词,模型的首token响应延迟仅约0.45秒。其实测生成速度可达每秒303个tokens,峰值更是冲到每秒330个tokens,响应速度超过了人眼的阅读节奏。这意味着在日常生活中,诸如文档即时润色或同声传译等应用,能实现即问即答的跟手体验。

值得注意的是,所有数据处理均在本地完成,无需联网,从而保障了用户隐私。这一特性被视为未来端侧AI设备的关键卖点。小米方面展示了如何在有限的手机机身内,通过专用芯片和创新散热(如内置风扇)来实现高效的本地AI推理。

另一款硬核的“AI Cube”桌面终端,则由航空铝CNC一体成型打造,机身四周有33874个镂空散热孔和环形灯带,内置最高可支持160GB的内存。在本地运行120B大模型时,它能根据用户输入的需求,迅速解析任务并生成完整的前端代码,直接运行出一个功能性的网页应用。

该设备还支持“快慢双模型”切换策略:轻量指令由3B小模型快速响应,而复杂的代码生成等深度推理任务则交由120B大模型处理。这旨在平衡日常使用的响应速度与处理专业任务的性能需求,试图将以往需要专业工作站完成的工作,变为触手可及的桌面工具。

展台上的这两台设备清晰地展现了小米的硬件分工策略:随身设备负责高频、轻量的秒回交互;桌面终端则承接需要强大算力的复杂推理任务。这种布局试图为不同场景提供针对性的端侧AI解决方案。

从离线即时响应到本地代码生成,小米原型机展示的离线AI能力,已从概念走向可感知的真实体验。这些实测结果验证了玄戒芯片的实战性能,也让业界对端侧硬件的算力前景有了更具体的期待。未来,小米若能将这些技术量产化,或将降低个人本地运行大模型的门槛。

阅读原文 →来源:ifanr