<p style="color:#24292e; margin-left:0; margin-right:0; text-align:start">记忆张量联合商汤大装置宣布，在国产 GPGPU 上率先跑通业内首个以“记忆 - 计算 - 调度”一体化为核心的 PD 分离商用推理集群。相比传统仅依赖硬件隔离的方案，本次落地将 PD 分离与记忆张量旗下核心产品 MemOS 的激活记忆体系深度耦合，使 Prefill 批量化可调度、Decode 前台低抖动成为可能。</p> 集群在真实 C 端负载下实现单卡并发效率提升 20%、吞吐提升 75%，综合推理性价比达到同代 NVIDIAA100 的 150%。这一成果标志着国产算力体系在大模型商业化路径上首次具备“体系级”竞争力，为高性能模型的大规模落地打开了全新的降本增效空间。
为什么是 MemOS？ 解决大模型长期记忆和 Agent 协作的五大痛点
过去一年中，“PD 分离”几乎成了大模型推理优化里最热的技术关键词之一，但一个被反复忽略的现实是：如果只在算力层面做 PD 分离，而不对上层业务路径重构，能带来的收益是天然有上限的。
Prefill（计算密集）与 Decode（访存密集）在真实生产环境中的比例、触发频率和负载形态取决于业务本身——是长对话还是短问答，是高并发 C 端应用还是低频 B 端调用？在这些问题没有被重新建模之前，通过“算存拆分”，往往只能做局部吞吐的改善，却很难真正突破天花板。
随着 DeepSeek-R1 等高性能模型从 B 端试水走向 C 端大规模落地，局面发生了根本性变化：“记忆”不再只是一个锦上添花的高级能力，已经开始成为 C 端产品体验与成本结构的核心变量。
超长上下文、跨轮次的上下文复用、基于先验的影子预测、针对热门场景的 KV Cache 批量生成……这些能力正在把 Prefill 从原本一次性的“首字计算”，放大成一个高占比、可预测、可调度的批量任务集；而 Decode 则越来越像一个必须始终保持低抖动、低延迟、强稳定的“前台交互引擎”。
在这样的应用形态下，PD 分离的角色被彻底改写：
只有当 PD 分离与记忆结构深度耦合，变成一套围绕“记忆—计算—调度”重构的整体体系时，它才有机会真正超越传统意义上的性能上限。
MemOS 作为业内唯一一个以记忆为中心，覆盖从底层推理、到记忆模型，再到应用工程进行系统设计的记忆基础设施，它将大模型的认知结构划分为三类记忆：
- 参数记忆：承载长期稳定知识，对应模型本身的参数空间；
- 激活记忆：承载短期动态状态，包括 KVCache、隐藏层激活、注意力权重等；
- 明文记忆：承载可检索、可审计的外部知识与用户信息。
这三类记忆形成了一条跨时间尺度的调度链路，使得 MemOS 不再只是“一个向量库外挂”，可以进行精细地决策：
- 哪些计算应该前移到 Prefill，哪些必须留在 Decode；
- 哪些状态值得长期保留，哪些可以在一定条件下降级或淘汰；
- 哪些上下文可以复用，哪些需要重新计算。
PD 分离 × 业务路径在这里第一次被真正打通，而不是被割裂成两条平行的优化线。
相比传统的只做“长上下文拼接”的纯明文记忆系统，或只在参数空间做一些长期偏好固化的简单参数记忆模型，MemOS 更适合和 PD 分离进行结合——它拥有一整套可以“决定如何用这条通道”的调度逻辑，从而把 PD 分离原本有限的收益空间尽可能压榨到极致。
正因此，本次记忆张量与商汤大装置在某国产 GPGPU 上的解决方案，真正跑出一版带完整业务语境的 R1 满血推理集群——
不仅在单机和小规模集群实验中有效，而且在严格 SLA 约束下，可以在 12 台 4P8D 架构的商用集群上稳定运行，将 PD 分离从“好主意”变成“可以被商业化复现的工程范式”。
结构共振：PD 分离第一次有了“落点”
在本次合作的方案中，商汤大装置提供了让 MemOS 三层记忆结构拥有物理载体的顶层系统级基础设施**。依托大装置 IaaS ** 的高效算力池、智能算力调度等为模型推理提供稳定的基础设施支撑；并借助 Ignite 框架提供多后端推理适配、KV Cache 管理优化、关键算子加速、跨节点通信调优等性能增强，形成体系化的推理优化链路；同时，商汤万象 MaaS 平台的统一调度策略确保 Prefill 与 Decode 服务在高并发场景下始终稳定运行。
集群的底层算力方面，则由算丰信息提供核心支撑，算丰信息在此次集群中承接管理了所有高性 GPGPU 计算资源、大规模文件对象存储以及高速互联网络服务，为 PD 分离架构的高效稳定运行提供了不可或缺的鼎力支持。
在商汤大装置的某国产 GPGPU 集群上，MemOS 的记忆结构被映射成了非常清晰的物理分工：
- P 域（Prefill Domain）变成真正的“记忆工厂”，集中承载影子上下文的预测与 KV Cache 的批量预生成，这些任务通常对吞吐敏感、对时延容忍度高，因此可以在 P 域以高并行、高利用率的方式被源源不断地消化掉，而不再与前台交互抢占资源；
- D 域（Decode Domain）则被打造为纯粹的“实时交互前台”，专注处理真实用户请求的解码过程，在保持超低 TTFT 的前提下，承担起 R1 这一类大模型在 C 端场景的连续输出与稳定响应；
- 跨节点 KV Cache 则通过高带宽互联与零拷路径实现“即产即用”，MemOS 的激活记忆机制与商汤在某国产 GPGPU 上打磨出的通信能力形成天然互补，使 Prefill 产生的 KV Cache 不再成为传输瓶颈，而是以极低开销进入 D 域的解码流程中。
这次合作是一次体系级的结构共振：
PD 分离为 MemOS 打开了一条真正意义上的高速算力通道，而 MemOS 则为 PD 分离提供了精细到记忆单元级别的调度逻辑和业务上下文，让两者不再是孤立的“优化点”，而是共同长在同一棵体系树上的“结构分支”。
正因为有了这样的结构落点，PD 分离才第一次从一个工程团队内部的“性能小技巧”，变成一套可以被完整描述、完整度量、并在生产环境中长期运行的新推理范式。
数据验证：国产 GPGPU 第一次跑出 R1 的“完整形态”
在严格的生产级评测口径下——包括 2k 输入、1k 输出、TTFT＜2s 的 SLA 约束、72 小时以上稳态运行、统一的限流与负载生成策略——记忆张量与商汤大装置联合打造的国产 GPGPU 集群交出了这样一张答卷：
- 集群整体吞吐量提升 75+%，从 Naive 部署下的 107.85 tokens/s 提升到 189.23 tokens/s，不是因为“卡更强了”，而是 Prefill 与 Decode 真正做到了算/存解耦，流水线气泡被有效压缩，影子上下文的批量预计算也不再造成资源浪费；
- 单卡并发能力提升约 20%，从 25.00 并发/卡提升至 29.42 并发/卡，在 C 端场景下十分关键，这意味着在同等硬件规模下，集群能稳态承载更高的实时会话数，高峰期排队与溢出的风险明显降低；
- TTFT 全程稳定小于 2 秒，得益于 Prefill 全量前移和 D 域职责的“单一化”，Decode 不再被一些突发的重 Prefill 任务抢占资源，首字延迟因此从系统层面得到了保障；
- KV Cache 在热门场景中的命中率显著提升，可达 70%+，这使得诸如 MemOS-Chat 这一类需要高频、多轮交互的 C 端应用，在热点话题和常见任务上具备了极高的预计算复用率，推理成本被进一步摊薄；
- 在统一财务与技术口径下，综合推理性价比达到同代 NVIDIA A100 的 150% 左右，在严格 SLA 与相同负载结构下，某国产 GPGPU 在这一套“记忆原生 × PD 分离 × 业务调度”的框架中，第一次实现了对 A100 的体系级正面超越。
这些数字代表着：
“国产 GPU 不再只是一个“可以跑大模型”的选项，而是真正具备了承载 R1 级 C 端业务的体系能力。“
行业意义：下一代推理范式被点亮
从行业视角来看，这次联合实践更重要的价值在于清晰地描绘出了一条未来大模型推理架构的可行路线。
首先，PD 分离从“硬件层的算存优化”，升级为“围绕记忆的推理范式设计”。
在记忆缺位的系统里，PD 分离往往只能作用于算子级、节点级的小局部；而在 MemOS 这样以记忆为核心组织推理流程的系统里，PD 分离可以延伸到行为预测、上下文规划、激活记忆布局等更高维度，从而变成整体架构的一部分，而不再是孤立的工程优化。
其次，C 端场景将逐步从 Token 推理走向 Memory 推理。
过去我们习惯从“生成了多少 Token”、“延迟是多少”来评价系统，现在我们越来越需要思考的是：系统在多长时间尺度内能保持一致的人设、风格和偏好；它是否能记住用户的历史行为，并以此给出更智慧、更个性化的反应。在这个意义上，记忆不再是推理链路的外挂，而正在成为推理本身的中心。
未来，国产 GPU 不必也不应该只是在“算力参数”上做对标，而是有机会在体系结构上形成差异化领先。
通过记忆张量和商汤大装置的联合探索，我们可以看到：当底层架构与上层系统“共同为记忆和 Agent 这种新形态服务”时，国产生态已经可以定义自己的技术话语体系。
很多长期困扰工程团队的问题：“为什么 PD 分离在实验室里很好看、一到生产就塌方”，“为什么集群越扩越容易失控”，“为什么 C 端体验总会莫名其妙波动”——在这套框架下都有了同一个答案：
不是技术选型不对，而是体系结构不对。
当“记忆原生 × PD 分离”两件事同时准备好，这些瓶颈不再是孤立的 bug，而成为了可以被系统性地松动和重构的变量。
展望：记忆原生时代的国产算力新起点
未来，记忆张量与商汤将在这一范式之上继续深化合作：
一方面，围绕更大规模的国产 GPGPU 集群，构建真正意义上的记忆驱动流水线推理底座，让“影子上下文 – 激活记忆 – PD 分离 – 多级缓存 – AIOps ”成为一套可观测、可回滚、可演进的基础设施能力；
另一方面，在 Prefill 行为预测自治化、多级激活记忆管理、跨任务长时记忆一致性、面向 Agent 的轨迹记忆等方向上持续打磨，让这套范式不仅能支撑今天的聊天与问答，还能承载未来的伴随式 AI、具身智能体以及更复杂的长周期任务编排。
从更长远的视角看，这次联合实践带来的最大改变，也许不是某一个模型跑得更快、某一类集群利用率更高，而是——
国产算力体系第一次拥有了另一条面向未来智能形态的可能“结构性路线”：
从参数计算走向记忆计算，从静态推理走向动态流水线，从模型中心走向记忆中心。
在这条路上，国产 GPGPU 不再只是“跟上来”的参与者，而完全有机会成为下一代推理范式的定义者之一。
而这一次，记忆张量与商汤大装置把这条路上的第一盏路灯点亮了。
关于 MemOS
MemOS 为 AGI 构建统一的记忆管理平台，让智能系统如大脑般拥有灵活、可迁移、可共享的长期记忆和即时记忆。
作为记忆张量首次提出“记忆调度”架构的 AI 记忆操作系统，我们希望通过 MemOS 全面重构模型记忆资源的生命周期管理，为智能系统提供高效且灵活的记忆管理能力。
</div>
