GPU vs ASIC 有甚麼分別？AI 訓練、推理、成本與軟件比較

GPU 是能執行多種平行工作負載的可編程加速器；ASIC（Application-Specific Integrated Circuit）為特定運算或產品需求設計，通常以較低彈性換取特定任務的性能、功耗或成本效率。 Google TPU 是 AI ASIC 的公開例子，NVIDIA GPU 則透過 CUDA、函式庫、網絡與系統平台服務更廣模型。^{[1] [2]}

Klaro Research 核心結論： 模型、算子與軟件快速變動、工作負載不確定或規模未達專用晶片經濟門檻時，GPU 的彈性和上市速度更有價值；工作負載穩定、規模巨大、團隊能承擔設計／編譯／系統成本時，ASIC 才有機會把專用效率轉成總成本優勢。晶片峰值規格不是最終決策，利用率、良率、軟件和部署時間同樣重要。

本文資料核對截至 2026 年 8 月 24 日。NVIDIA 年報顯示 GPU 平台的軟件與網絡經濟，Broadcom 申報顯示客製 AI 加速器已成為收入來源；它們證明兩種路線同時商業化，不證明所有工作負載的勝負。^{[3] [4]}

GPU 與 ASIC 一張表比較

為何 GPU 較有彈性？

GPU 有大量可編程運算單元、記憶體層級和通用指令／函式庫，可在模型架構、精度與算子改變時以軟件更新。CUDA 平台還包括編譯器、runtime、數學／AI 函式庫和多 GPU 工具，縮短新工作負載上線。^[1]

彈性並非免費：若晶片大量電路未服務特定任務，功耗和每次請求成本可能高於專用設計；軟件生態也形成供應商切換成本。

ASIC 為何可能更有效率？

ASIC 可針對矩陣乘加、資料流、記憶體和互連設計。Google 說明 TPU 是為機器學習矩陣運算而設的 ASIC，使用 systolic array、HBM、編譯器和 Pod 拓撲；專用硬件仍是一整套系統，不是只有晶片。^[2]

效率要先攤銷設計、流片、封裝、軟件和供應成本。若需求量不足、模型快速改變或晶片延遲，單位成本優勢可能被固定成本與時間損失抵消。

訓練一定用 GPU、推理一定用 ASIC 嗎？

不是。GPU 可做訓練與推理，TPU／其他 ASIC 也可兩者兼用。選擇取決於模型穩定度、批次、延遲、吞吐、精度、記憶體、互連和規模。詳細機制見 AI 訓練 vs 推理。

產業收入如何分配？

NVIDIA 以標準 GPU／系統和 CUDA 生態服務廣泛客戶；Broadcom、Marvell 協助大型平台設計客製 ASIC、SerDes 和網絡；雲端公司可自研 TPU／加速器，再自行承擔軟件與部署。可閱讀 NVIDIA vs Broadcom 和 Broadcom vs Marvell。

ASIC 成功不等於 GPU 消失：客戶可把穩定大流量移到 ASIC，同時用 GPU 研發、新模型和長尾 workload；兩種架構會按經濟性分工。

七項選擇清單

模型是否穩定？年運算量能否攤薄 NRE？需要多快上線？軟件／編譯團隊是否足夠？供應和封裝能否按時？總成本是否包含網絡、HBM、電力和利用率？哪項延遲、精度或可靠性不達標會令設計停止？

常見問題

TPU 是 ASIC 嗎？ 是，Google 把 TPU 定義為針對機器學習的專用積體電路；實際使用還包括編譯器、HBM、主機和互連系統。

ASIC 一定比 GPU 省電嗎？ 只在固定工作負載和相同系統邊界下可能更有效率。低利用率、軟件不足或工作負載改變會削弱優勢。

GPU 會被 ASIC 取代嗎？ 較可能長期分工。ASIC 承接穩定大規模任務，GPU 保留研發、長尾、新模型和需要彈性的工作負載。

客製 ASIC 設計成功是否等於收入？ 不等於。設計、流片、驗證、量產、客戶部署和收入確認是不同階段。

投資者應追蹤甚麼？ 追蹤實際產品收入、客戶部署、毛利、HBM／封裝、軟件、利用率和 capex，而不是只看峰值 TOPS／FLOPS。