AI 内存层级：Memory Wall、KV Cache、HBM、CXL 与 SSD

AI 内存阶层，是把模型权重、activation、KV Cache、资料集和检查点，按速度、容量、持久性及搬移成本分配到不同硬件。 靠近运算的 SRAM／cache 与 HBM 最快但容量有限；主机 DDR／SOCAMM、CXL 内存与企业 NVMe SSD 逐步增加容量和持久性，同时增加资料搬移延迟与软件管理要求。

Memory Wall（内存墙）并不等于「HBM 缺货」。它描述的是计算单元需要资料的速度、容量或能耗，跟不上模型工作负载。增加 GPU 算力后，如果权重或 KV Cache 不能及时进入运算单元，昂贵的计算核心仍会等待资料。

对投资者而言，真正的需求单位不是某一种内存的市场口号，而是资料在哪里、多久会重用、搬一次要付出多少时间和电力，以及供应商能否把产品变成部署、收入与现金。 本文证据截至 2026 年 9 月 2 日。

AI 内存阶层包含哪些硬件？

NVIDIA Dynamo 的 KVBM 文件已把 KV blocks 分为 GPU、host、disk 和 object storage tiers，证明多层 cache 不只是概念；每层要先设定容量和 offload 规则，错误配置会因反复搬移而降低效能。^[2]

图：常见 AI 推理资料阶层的概念图。资料越冷、重用时间越长，越可能移往容量较大的一层；实际配置必须以模型、互连和软件实测。

KV Cache 为什么会令 HBM 容量不足？

Transformer 推理会为已处理的 token 保存 attention 的 key 和 value 状态，后续生成新 token 时可以直接重用，避免每次重算完整前文。这组状态称为 KV Cache。

KV Cache 会随上下文长度、同时请求数、模型层数、hidden dimensions、attention 架构和资料精度改变。模型权重已占用一部分 HBM 后，剩余容量还要分给 KV Cache、activation、工作空间和通讯 buffer；长上下文与高并发因而可以在算力耗尽前先碰到容量限制。

NVIDIA Dynamo 把 KV Cache-aware routing、重用与 offloading 分开：有相同 prefix 的请求可重用 cache，较冷的 blocks 可以移到主机 DRAM、local disk 或 remote storage，减少重新计算。^[1]

这个机制不保证 offload 一定更快。NVIDIA NIM 文件指出，host offload 能保留更多可重用 blocks，但 CPU–GPU 搬移仍有 overhead；互连较慢、cache 命中率太低或资料频繁来回时，搬移成本可能抵销收益。^[3]

热、暖、冷资料应放在哪一层？

NVIDIA 在 2026 年提出 CMX Context Memory Storage Platform，目标是把 agentic AI 的长上下文和 KV Cache 从一般持久化存储分出一个专用 context tier。这证明 SSD／网络层开始直接参与推理资料路径；其产品效能与商业采用仍要由正式部署、客户和收入验证。完整 NAND、controller、固件与供应商比较见 AI 企业 SSD。^[4]

CXL Memory 解决的是带宽还是容量？

CXL 包含 CXL.io、CXL.cache 和 CXL.mem。CXL.mem 让 host 或装置以一致性方法接触 device-attached memory；较新的规格亦支持 switching、sharing 和 memory pooling，使容量可以跨系统更灵活分配。^[5]

CXL 主要改善容量、利用率和资源配置，不能把较远的 memory pool 变成 GPU 封装内的 HBM。资料离计算愈远，便愈依赖互连、switch、拓扑和软件把正确页面放在正确节点。若工作负载需要每个 token 反复读取同一资料，HBM 仍更接近问题；若大量容量只在少数时刻使用，CXL 的共享价值才较高。

投资者研究 CXL 时应把证据分成四级：

1. protocol／IP 支持；
2. controller 或 switch 产品；
3. OEM 平台与软件整合；
4. 客户部署、收入与现金。

Astera Labs和 Marvell已提供相关连接产品，但产品发布不能直接等同 CXL memory pooling 已形成大规模收入。

SOCAMM2、MRDIMM 与 DDR5 RDIMM 怎样分工？

截至 2026 年 9 月 2 日，DDR5 RDIMM 是成熟服务器主机内存；MRDIMM 通过 multiplexing 提高内存子系统资料率；SOCAMM2 则把 LPDDR5X 的低功耗与较小 form factor 带到可更换的服务器模块。三者都属主机／系统内存选择，不是 HBM 的同位置替代品。

AMD 截至 2026 年 4 月 6 日的资料指出，DDR5 RDIMM 仍会是一般用途服务器的重要标准；SOCAMM2 的吸引力在功耗、密度和水平安装，现阶段 RAS 功能与适用工作负载仍要追上成熟 RDIMM。AMD 计划在 2027 年部分 EPYC 平台支持 LPDDR5X SOCAMM2。^[6]

Micron 与 SK hynix 都把 SOCAMM2、HBM 和企业 SSD 放入 AI 内存组合，支持「多层同时增长」的产业方向。这些公司资料首先证明产品布局；真正的收入证据仍要核对客户平台、样品、认证、量产、bit 出货与产品 mix。^{[7] [8]}

训练与推理对内存的需求有何不同？

训练需要保存权重、activation、gradient、optimizer state 和 checkpoint，并在多个加速器之间高频交换；HBM 容量、带宽、GPU interconnect 和网络共同控制吞吐。推理的 prefill 偏重计算，decode 经常受权重与 KV Cache 搬移限制；长上下文、高并发和 prefix reuse 令多层 cache 更重要。

更完整的 prefill／decode 与芯片架构差异见 AI 训练 vs 推理及 AI 推理芯片。

哪些上市公司对应每一层需求？

同一公司可以横跨多层，收入纯度仍由实际业务组合决定。Samsung 有手机、Foundry 与显示业务；SK hynix、Micron 较集中于内存，仍同时受 DRAM／NAND 周期影响；Sandisk 和 Kioxia 主要位于 NAND／SSD 层，HBM／DRAM 则由三大综合内存原厂主导。

投资者怎样判断真正的 AI 内存受益？

把产业叙事转成公司研究，可以依次核对：

工作负载是否真的受内存限制
→ 哪一层是容量／带宽／持久性瓶颈
→ 新产品是否完成平台认证
→ 是否开始合格、可重复出货
→ 产品 mix 与 ASP 是否进入收入和毛利
→ 库存、应收、CFO 与 CapEx 是否形成股东现金

若只有 benchmark，证明的是指定配置可行；若只有产品公告，证明的是供应商准备参与；若已有客户部署但没有分部披露，仍不能量化收入纯度。Klaro 的 内存周期可继续核对价格、库存与产能，HBM 供应链则把 DRAM 晶粒、堆叠、base die、封装与测试拆开。

常见问题：Memory Wall、KV Cache 与 CXL

Memory Wall 和程式设计的 memory barrier 是同一概念吗？ 不是。Memory Wall 描述计算与内存带宽／容量／延迟之间的系统瓶颈；memory barrier 是控制处理器或编译器内存操作顺序的同步机制。

KV Cache 一定要放在 HBM 吗？ 正在生成 token、频繁读取的 KV blocks 通常适合留在 HBM。可重用但较冷的 blocks 可以卸载至 host DRAM、CXL memory 或 SSD；是否划算取决于命中率、互连和回载成本。

CXL 可以取代 HBM 吗？ CXL 主要提供一致性连接、扩充与 pooling；它增加可用容量，没有把远端 memory 的物理距离、带宽和延迟变成加速器本地 HBM。

SOCAMM2 是否会取代 DDR5 RDIMM？ 较准确的判断是按场景并存。SOCAMM2 强调低功耗、密度与模块化，成熟 RDIMM 则有一般服务器生态和 RAS 优势；平台支持与正式部署会决定各自适用范围。

SSD 进入 KV Cache 是否等于所有 NAND 公司都受益？ 不是。SSD 要先符合延迟、吞吐、耐久、controller、固件和软件要求，再由部署规模、出货、ASP、毛利和现金证明公司捕捉。企业 SSD 的公司与供应链需要独立比较。