- 发布日期
你需要知道的 AI 内存知识
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
人工智能技术的快速发展使得个人用户也能在本地运行AI模型，但硬件的选择成为关键。对于消费者而言，独立显卡和板载芯片组（即CPU+板载显卡+内存的集成方案）是两种主要选项。了解它们各自的优劣对于做出明智决策至关重要。
目前最顶级的消费级独立显卡是英伟达的RTX 5090，拥有32GB显存，售价约3万元人民币。而另一类方案是采用AMD Strix Halo芯片组（如Ryzen AI Max+ 395）的迷你电脑，自带128GB内存，售价约2万元。从算力看，RTX 5090的单精度浮点性能（FP32）达到104.8 TFLOPS，是板载芯片组（14.8 TFLOPS）的7倍，在低精度计算时差距更大。
尽管独立显卡算力强劲，但其显存容量成为瓶颈。一个70B参数的模型若采用4位精度，需要大约32.6GB内存来加载权重，已经超出RTX 5090的32GB显存，导致模型无法运行。相反，AMD迷你电脑的128GB统一内存可以轻松容纳大模型。统一内存架构允许CPU和显卡共享内存，并可将大部分内存分配给单个处理器，苹果M系列芯片也采用类似设计。
然而，内存带宽是板载芯片组的短板。RTX 5090的内存带宽高达1792GB/s，而AMD方案仅256GB/s。AI模型每生成一个Token需要从内存中读取整个模型，以40GB模型为例，256GB/s带宽意味着每秒只能读取6次，即生成6个Token，速度缓慢。即使是带宽最高的苹果M3 Ultra（819GB/s），每秒也只能生成20个Token，远不及RTX 5090。
混合专家模型（MoE）的出现缓解了带宽问题。此类模型每次仅激活部分参数，例如Qwen3-30B-A3B拥有30B参数但每次只激活3B，每个Token仅需读取2GB数据，在AMD迷你电脑上理论上可达100多个Token/秒。因此，使用统一内存设备时，推荐选用MoE模型。
此外，迷你电脑的算力较低导致提示词处理缓慢。使用70B模型时，AMD迷你电脑处理提示词的速度约为每秒95个Token，一份4000 Token的文档需40秒才能处理完，之后才输出第一个Token。若上下文窗口更大，处理时间可能延长至数十分钟。
综上所述，现阶段在本地运行大模型无论选择独立显卡还是板载芯片组都有缺陷。用户最多只能运行中等规模的MoE模型，且提示词不宜过长。未来随着硬件迭代和模型优化，本地AI运行体验有望改善。
