AI 訓練 vs 推理有甚麼分別？算力、HBM、延遲與成本比較

AI 訓練是用資料反向傳播並更新模型參數；AI 推理是固定已訓練參數，對新輸入產生輸出。 訓練通常重視長時間集群吞吐、梯度通訊、HBM 容量和穩定性；線上推理更重視首 token 延遲、每 token 吞吐、KV cache、併發、利用率和服務可用性。兩者都可使用 GPU 或 ASIC，不能以「訓練=GPU、推理=ASIC」簡化。^{[1] [2]}

Klaro Research 核心結論： 訓練成本以完成一次模型更新／收斂的時間和資源衡量；推理成本以在延遲與品質約束下服務多少請求／token 衡量。峰值算力只有在資料、記憶體、互連、軟件與利用率不成為瓶頸時才有經濟意義。

本文資料截至 2026 年 8 月 24 日。MLPerf Training 提供明確 workload 和提交規則，NVIDIA 年報則證明訓練與推理共同驅動平台需求；文章不把任何單一 benchmark 外推為所有模型勝負。^{[3] [4]}

AI 訓練與推理一張表比較

訓練為何需要大量 HBM 和網絡？

訓練不只存模型參數，還保存梯度、optimizer state 和中間 activation；模型並行和資料並行會在加速器間交換資料。當運算很快而通訊或記憶體不足，GPU 會等待，峰值 FLOPS 不能轉成 goodput。

因此大型訓練集群同時拉動 HBM 供應鏈、NVLink／InfiniBand／Ethernet、儲存、電力和冷卻，而不只是 GPU 數量。

推理為何不一定比訓練便宜？

單次推理計算量可低於一次訓練 step，但服務可能每天處理巨量 token、要求低延遲和高可用。長上下文會擴大 KV cache，低流量時昂貴加速器利用率下降，高峰時又需保留容量。

推理優化包括 batching、量化、並行、模型路由、speculative decoding、cache 管理與動態排程。Triton 等 serving 軟件的工作是讓多模型和請求更有效使用硬件；硬件價格不是每 token 成本的唯一分母。^[2]

GPU 與 ASIC 在兩者如何分工？

GPU 適合模型快速變動、新算子、研發和多種 workload；ASIC 在規模巨大且模型穩定時可提高特定效率。Google TPU 文件顯示 TPU 可同時訓練和推理，並需要 XLA、HBM、host 和 interconnect。^[1]

更完整架構比較見 GPU vs ASIC；軟件選擇見 CUDA vs ROCm。

怎樣比較訓練與推理成本？

投資者應追蹤哪些收入鏈？

訓練需求先影響大型集群 GPU／HBM／網絡；推理擴張可能增加更廣雲端、專用 ASIC、邊緣和 serving 軟件。兩者都要看客戶 capex 能否轉成雲端／模型收入，而不是把資本開支本身當回報。可延伸 AI capex 受惠鏈 和 AI 推理晶片。

常見問題

ChatGPT 回答問題屬於訓練還是推理？ 使用已訓練模型生成回答屬推理；模型此前用大量資料更新參數的過程屬訓練。

微調屬於訓練嗎？ 是，只要更新模型參數便屬訓練；參數量、資料和計算可遠小於預訓練。

推理一定用較少 HBM 嗎？ 不一定。大型模型、長上下文、併發和 KV cache 可令推理記憶體成為主要瓶頸。

訓練完成後 GPU 需求會下降嗎？ 單一模型可能，但新模型、微調、強化學習和持續推理會形成新需求；要看利用率和整體 workload，不是一次訓練事件。

比較硬件應看哪些指標？ 固定模型、精度、品質、batch／序列、延遲、功耗、軟件和集群規模，再比較 time-to-train 或每 token 總成本。