輝達今天發表新一代的 NVIDIA Blackwell 人工智慧(AI)工廠平台 NVIDIA Blackwell Ultra,為 AI 推理時代奠定基礎。NVIDIA Blackwell Ultra 強化訓練與測試階段的推論擴展能力,這項技術在推論過程投入更多的運算資源,提高準確度,讓世界各地的組織都能加速應用 AI 推理、代理型 AI,以及實體 AI。
Blackwell Ultra 以一年前推出的劃時代 Blackwell 架構為建置基礎,包含 NVIDIA GB300 NVL72 機架規模解決方案與 NVIDIA HGX™ B300 NVL16 系統。GB300 NVL72 的 AI 效能比 NVIDIA GB200NVL72 提升 1.5 倍,並且相比基於 NVIDIA Hopper的 AI 工廠,將 Blackwell 在 AI 工廠市場的營收機會提升 50 倍。
NVIDIA 創辦人暨執行長黃仁勳表示:「AI發展突飛猛進,推理和代理型AI需要比當前高出數個量級的運算效能。Blackwell Ultra 就是為了這個時刻所設計。這個多功能的單一平台,可輕鬆高效執行預訓練、後期訓練與推理AI推論。」
NVIDIA GB300 NVL72 採用機架規模設計,連接 72 顆 Blackwell Ultra GPU 與 36顆 Arm Neoverse 架構 NVIDIA Grace CPU,是專為測試階段擴展打造的單一大型 GPU。有了 NVIDIA GB300 NVL72,AI模型便可利用平台更強大的運算能力,探索問題的各種解決方案,並將複雜的請求分解為多個步驟,締造更高品質的回應內容。
NVIDIA DGX™ Cloud 預計也會提供 GB300 NVL72。這個位於主要雲端上的端對端全託管 AI 平台,利用軟體、服務和 AI 專業,因應不斷演變的工作負載將效能最佳化。採用 DGX GB300 系統的 NVIDIA DGX SuperPOD™ 使用 GB300 NVL72 機架設計,提供客戶一站式 AI 工廠。
相較於 Hopper 世代,NVIDIA HGX B300 NVL16 在大型語言模型上的推論速度提升11倍、運算能力提升 7 倍、記憶體容量增加 4 倍,可為AI推理這類複雜的工作負載,提供更好的效能。