废弃硬件变身AI神器：768GB英特尔傲腾内存成功运行万亿参数大模型！

快科技5月24日消息，据报道，Reddit用户APFrisco近日通过一套极客方案，利用6根二手英特尔傲腾DCPMM持久内存模块，在单GPU工作站上成功运行了拥有1万亿参数的Kimi K2.5大模型，推理速度约为每秒4个Token。

该系统基于英特尔至强金牌6246处理器与泰安S5630GMRE-CGN主板构建。内存系统总容量为768GB，由6根32GB三星DDR4-2666 ECC内存条与6根128GB英特尔傲腾DCPMM持久内存模块组成。

图形算力由两张华硕GeForce RTX 3060 OC 12GB显卡承担，存储设备采用西部数据WD SN850X 2TB固态硬盘，电源为华擎Steel Legend SL-850G 850W全模组电源。

软件运行层面，该方案采用了基于llama.cpp的GPU与CPU混合推理方法。通过llama.cpp的override-tensor标志，系统将模型路由组件强制分流至总计24GB显存的GPU中处理，其余参数则由傲腾内存承担存储与读取任务，有效规避了单卡显存不足的瓶颈。

英特尔傲腾系列产品虽已停产，但其介于DRAM与固态硬盘之间的读写特性，使其成为替代昂贵内存方案的特殊选择。

业内分析认为，随着CXL计算快速连接标准的成熟，未来市场有望出现更具性价比的字节寻址内存解决方案，以支撑大型语言模型对内存容量的迫切需求。

【本文结束】如需转载请务必注明出处：快科技

责任编辑：于浮

]article_adlist–>

            <!-- 非定向300*250按钮    17/09  wenjing  begin -->

            <!-- 非定向300*250按钮  end -->
        </div>