InfiniBand vs Ethernet 有甚麼分別？AI 叢集網絡比較

InfiniBand 是為 HPC 與高性能叢集建立的專用 switched fabric，原生提供 RDMA、低延遲和 in-network computing；Ethernet 是通用資料中心網絡生態，可透過 RoCE、擁塞控制、Spectrum-X 和 Ultra Ethernet 針對 AI 改良。 兩者都能連接大型 GPU 叢集，實際差異在端到端軟硬件、運維、供應與總成本，不是「一個快、一個慢」。^{[1] [2] [3]}

Klaro Research 核心結論： 需要成熟、緊密整合、確定性較高的 HPC／AI fabric，且接受較專用生態時，InfiniBand 路徑較短；已有大型 Ethernet 團隊、供應商多元、希望與現有資料中心網絡融合，並能正確部署 RDMA／擁塞控制時，AI Ethernet 更具開放性。錯誤配置的任一架構都會令昂貴 GPU 等待網絡。

本文資料截至 2026 年 8 月 24 日。NVIDIA 年報證明 InfiniBand 與 Spectrum-X Ethernet 同時屬公司 AI 網絡平台，產品供應商本身也不把兩種路線視為只能二選一。^[4]

InfiniBand 與 AI Ethernet 一張表比較

RDMA 為何是核心？

RDMA 讓網卡直接把資料搬到遠端記憶體，減少 CPU 介入和複製。大型訓練的 all-reduce／all-to-all 對延遲、帶寬和尾部抖動敏感；網絡稍慢會把數千 GPU 同步等待時間放大。

InfiniBand 把 RDMA、HCA、交換和管理整合；Ethernet 的 RoCE 把 RDMA 放在 Ethernet 上，需要端到端擁塞與 lossless 設計。Ultra Ethernet 進一步為 AI／HPC 定義 profiles 和 transport 能力。^[3]

Ethernet 便宜又通用，為何仍可能難部署？

通用硬件和多供應商能降低採購集中，但 AI 流量常是大型 burst、elephant flows 和同步 collective；普通 enterprise Ethernet 配置未必能保持穩定迭代時間。設計需要 NIC、交換器 buffer、ECN、路由、telemetry 和 collective library 共同調校。

因此「公司已有 Ethernet 團隊」只降低部分學習成本，不能免除 AI fabric 工程。

InfiniBand 的專用性是優點還是風險？

專用端到端平台可以縮短集成和性能調校，也提高供應商、工具和採購集中。若客戶重視最快部署和已驗證參考架構，專用性是優點；若重視多供應商、與現有網絡融合及長期議價，它變成風險。

NVIDIA Quantum InfiniBand 強調 HCA、交換器和 in-network computing；同一公司也推動 Spectrum-X Ethernet，說明客戶環境會長期分層。^[1]

怎樣做公平測試？

固定 GPU／模型、節點數、拓撲、線速、線纜、collective、軟件版本和容錯，再比較 application goodput、job completion time、99／99.9 延遲、丟包／重傳、故障恢復、功耗與總成本。只用單端口線速或 ping 延遲不能代表完整訓練。

哪些公司位於產業鏈？

NVIDIA 提供 InfiniBand 和 Ethernet 平台；Broadcom、Marvell 提供 Ethernet 交換、SerDes 與客製晶片；Arista、Cisco 等提供系統；光模組與 CPO/LPO 公司提供物理連接。完整名單見 AI 網絡概念股 和 光模組產業鏈。

常見問題

InfiniBand 一定比 Ethernet 快嗎？ 不能脫離代際和配置。成熟 InfiniBand 常有較短的 HPC 路徑，正確設計的高速 Ethernet／RoCE／UEC 也能服務大型 AI。

RoCE 是 Ethernet 嗎？ 是，RoCE 在 Ethernet 網絡上提供 RDMA；它仍需要合適 NIC、交換器、擁塞和 lossless 配置。

InfiniBand 和 NVLink 是同一層嗎？ 不是。NVLink 主要是節點／機架內 scale-up GPU 互連，InfiniBand／Ethernet 常用於節點間 scale-out。

Ethernet 的多供應商一定更便宜嗎？ 硬件競爭可能降低採購集中，但設計、調校、故障和低利用率也有成本，應比較總擁有成本。

投資者應追蹤甚麼？ 追蹤交換器／NIC 收入、雲端部署、互通、光學速率、客戶集中和 GPU 利用率，不只看標稱帶寬。