HBM vs GDDR:带宽、封装、成本与 AI GPU 用途有什么区别
目录
HBM(High Bandwidth Memory)与 GDDR(Graphics Double Data Rate)都是为处理器提供高速数据的 DRAM,但实现方式不同:HBM 把多层 DRAM 垂直堆叠,通过超宽接口和先进封装放在 GPU/AI 加速器旁边;GDDR 则把多颗高速记忆体芯片焊在电路板上,以较窄接口和很高的单针传输速率取得带宽。
HBM 通常提供更高总带宽和更好的每比特能效,代价是封装复杂、成本高且产能受先进封装约束;GDDR 成本和系统设计相对灵活,广泛用于显卡,也能服务部分 AI 推理和加速计算。两者不是“HBM 新、GDDR 旧”的简单替代关系。
HBM 与 GDDR 核心差异
| 维度 | HBM | GDDR |
|---|---|---|
| DRAM 形态 | 多层裸片垂直堆叠 | 多颗离散封装芯片 |
| 与处理器连接 | 通过中介层或先进封装紧邻处理器 | 焊接在 PCB,走板级线路连接 GPU |
| 接口策略 | 极宽接口、较低单针速率 | 较窄接口、很高单针速率 |
| 总带宽 | 通常更高,适合大规模并行计算 | 高于普通 DDR,取决于芯片数量和总线宽度 |
| 每比特功耗 | 通常较低 | 通常高于 HBM,但系统成本较低 |
| 封装复杂度 | 高,需要 TSV、堆叠与先进封装 | 相对成熟,可直接布置在电路板 |
| 典型用途 | AI 训练、高端推理、HPC 加速器 | 游戏显卡、工作站、部分 AI 推理与加速器 |
| 供应瓶颈 | DRAM 堆叠、良率、先进封装与测试 | 高速 DRAM 芯片、PCB 信号与散热设计 |
Samsung HBM 官方页说明,HBM 使用 TSV 堆叠和宽接口服务 AI 训练与 HPC;Samsung GDDR 官方页则将 GDDR 定义为高单针速率的图形 DRAM,并明确其用途已扩展至 AI 与高性能计算。
带宽不能只看单针速率
记忆体总带宽大致取决于 每针传输速率 × 接口宽度。GDDR 的优势是每个引脚传得很快,例如 GDDR7 使用 PAM3 信号提高单针数据率;HBM 则使用成百上千条并行连接,即使单针速率较低,总带宽仍然很高。
这像两种工程策略,但不需要用比喻替代数据:
- GDDR7 可达到很高的单针速率,系统通常使用 256-bit、384-bit 或其他板级总线;
- HBM 每个堆叠拥有极宽接口,新一代 HBM4 继续扩大 I/O 数量;
- 最终产品带宽还取决于堆叠或芯片数量、记忆体控制器和具体配置。
因此,不能拿“某颗 GDDR 芯片的 Gbps”直接与“整张 HBM 加速卡的 TB/s”相比;前者是单针速率,后者是系统总带宽。
为什么 HBM 更适合大型 AI 训练
大型模型训练需要多颗加速器持续读取权重、激活值和中间结果。计算单元若等待数据,增加理论算力也无法充分利用。HBM 的宽接口、紧邻处理器和较高带宽/瓦特,能降低记忆体系统成为瓶颈的概率。
HBM 还适合把多个堆叠放在同一先进封装内,与高带宽芯片间互连共同组成大型加速器模块。但系统能力仍取决于:
- 每颗 GPU 的 HBM 容量和带宽;
- GPU 之间的 NVLink、Infinity Fabric 或网络互连;
- 模型并行、批次和软件优化;
- 散热、供电与机架级配置。
HBM 很重要,但不能独立决定 AI 系统性能。
GDDR 为什么仍用于 AI
GDDR 的成本、供应链和电路板集成更成熟,适合对总带宽要求较低、但对成本和容量有约束的系统。Samsung 对 GDDR7 的官方说明明确列出 AI 推理和加速计算用途,并指出 GDDR7 相对 HBM具有成本优势。
部分推理工作负载、边缘 AI、专业工作站或小规模模型并不一定需要 HBM 的最高带宽。采用 GDDR 可能让系统:
- 使用较简单的封装;
- 避开部分 HBM 与中介层产能限制;
- 以较低硬件成本提供较大规模部署;
- 沿用成熟显卡和软件生态。
但 GDDR 芯片分布在 PCB 上,板级线路、功耗和总线宽度会限制继续扩展。它适合哪些 AI 工作负载,需要按模型和系统实测,而不是由“训练用 HBM、推理用 GDDR”一句话永久划分。
封装、良率和供应链差异
HBM 需要制造多层 DRAM 裸片、TSV、堆叠、基底逻辑裸片,并与 GPU 通过中介层或其他先进封装整合。任何一个环节的良率和产能都会影响最终出货。HBM 的供应不只是“多生产 DRAM”,还依赖封装设备、测试、基板和代工平台。
GDDR 则以独立封装芯片焊在 PCB 上。单颗损坏或板级设计问题仍会造成整卡报废,但制造链条不需要把多个高价值裸片共同封在大型封装中。其挑战更多集中在高速信号完整性、功耗、散热和电路板空间。
这也是 HBM 需求增长会同时影响记忆体原厂和先进封装产业链的原因。
容量、延迟和可扩展性怎么理解
“HBM 一定容量小”“GDDR 一定延迟低”都过度简化。产品容量会随世代、堆叠高度、芯片密度和系统配置变化;实际延迟还包含控制器、访问模式和软件因素。
更有用的判断顺序是:
- 模型能否完整放进加速器记忆体;
- 目标批次和精度需要多少带宽;
- 是否需要多卡通信,互连会否成为新瓶颈;
- 每次任务的功耗、设备成本和利用率;
- 系统是否能在所需数量和时间内交付。
只比较显存容量或峰值带宽,可能忽略决定总拥有成本的其他环节。
对记忆体产业意味着什么
HBM 与 GDDR 都由 DRAM 原厂生产,但价值量、制造复杂度和客户认证不同。HBM 增长可能占用更多先进 DRAM 产能与封装资源;GDDR 则继续服务大规模图形和部分 AI 市场。三星、SK 海力士、美光会按客户订单、产品良率和利润组合分配产能。
投资者应关注:
- 各原厂 HBM 与 GDDR 的量产世代和客户认证;
- HBM 堆叠、基底裸片与先进封装良率;
- GDDR 新信号标准是否转化为产品出货;
- AI 训练、推理、游戏和工作站需求组合;
- 高价值产品增加是否挤压传统 DRAM 供给。
这些事实比把所有“AI 记忆体”视为同一产品更能解释公司收入和资本开支。
常见问题
HBM 和 GDDR 都是显存吗? 两者都可以作为 GPU 或加速器的本地记忆体。GDDR 传统上称为图形记忆体,HBM 则以堆叠和先进封装服务高带宽计算;“显存”是用途称呼,不代表两者结构相同。
HBM 一定比 GDDR 快吗? 若比较高端系统总带宽,HBM 通常更高;但单针速率可能是 GDDR 更高。必须统一比较层级、产品配置和工作负载,不能把单针 Gbps 与系统 TB/s 直接相比。
为什么游戏显卡多数不用 HBM? 主流游戏显卡需要在性能、容量、售价、板卡设计和供应之间平衡。GDDR 已能提供足够高的图形带宽,封装和成本较适合大规模消费市场;部分专业或历史产品也曾使用 HBM。
GDDR7 可以用于 AI 推理吗? 可以。GDDR7 官方应用已包含 AI 推理和加速计算。是否合适取决于模型容量、带宽需求、延迟、功耗和成本,不代表它能替代所有 HBM 训练系统。
HBM、GDDR 和 DDR5 是同一种 DRAM 吗? 底层都属于 DRAM 技术家族,但接口、封装、用途和系统位置不同。DDR5 主要作为 CPU 系统内存;详细比较见 HBM vs DDR5。
官方资料来源
本文仅供参考,不构成投资建议。