新一波 AI 浪潮對基礎設施提出了新的要求。隨著 AI 代理和兆級參數工作負載成為主流，AI 基礎設施的效能不僅取決於運算能力，更在於運算、記憶體、儲存、網路和軟體如何作為統一系統協同設計。
為協助超大規模業者和 AI 創新者建構下一代半客製化 AI 基礎設施，NVIDIA 今日透過 NVIDIA NVHBM 擴展了 NVIDIA NVLink Fusion。NVHBM 是一種新一代高頻寬記憶體技術，能為 XPU 帶來更高的記憶體效能和效率。這項技術將由領先的記憶體合作夥伴進行驗證並提供，將此先進的記憶體能力延伸至 NVLink Fusion 客戶。
傳統的 HBM 架構將記憶體控制器放置在 XPU 晶粒上，佔用了寶貴的矽晶面積，而這些面積原本可以專用於運算。NVHBM 採用 NVIDIA 未來 GPU 將使用的相同技術，將 NVIDIA 的客製化記憶體控制器整合到 HBM 基底晶粒中。
透過將記憶體控制器整合到 3D HBM 堆疊而非 XPU 中，NVHBM 可提供高達 30% 的記憶體頻寬提升和 15% 的 HBM 功耗降低。與標準 HBM4E 相比，它還能釋放 XPU 運算晶粒上多達 25% 的面積。
NVIDIA 正在建立標準化的 NVHBM 實作方案，將由多家記憶體供應商提供。這減少了整合和驗證來自多個供應商記憶體所需的工程工作，為 NVLink Fusion 客戶提供了更快將客製化 AI 晶片推向市場的途徑。
Amazon 的 Annapurna Labs 將成為首批與 NVIDIA 合作開發 NVHBM 的公司，這也是其與 NVIDIA 在 NVLink Fusion 方面更廣泛合作的一部分。
AWS 與 NVIDIA 持續深化 NVLink Fusion 合作
Amazon 的 Annapurna Labs 將與 NVIDIA 合作開發 NVHBM 技術和 NVLink 擴展架構，以提升 AI 工作負載的效能和效率。
這項合作建立在 AWS 先前宣布支援 NVLink Fusion 的基礎上。Annapurna Labs 將從 Trainium4 開始，以其下一代 Trainium 晶片支援 NVLink Fusion，這將使 Amazon 晶片和 NVIDIA GPU 能夠在共同的機架級架構下協同運作。
Amazon Annapurna Labs 副總裁 Nafea Bshara 表示：「NVHBM 代表了一種新的架構方法，旨在提升高頻寬記憶體的效能和效率。我們期待這項技術合作能嘉惠未來的 AWS 基礎設施設計。」
垂直整合與水平開放
NVLink Fusion 使合作夥伴能夠將客製化的 XPU 和 CPU 連接到 NVIDIA 的機架級平台。
合作夥伴可以取得 NVIDIA NVLink 小晶片、NVLink-C2C、NVLink 交換器和 NVIDIA MGX 系統與機架，以及廣泛的 CPU 合作夥伴、ASIC 設計者、系統製造商和技術供應商生態系。
NVLink Fusion 隨 NVIDIA 每一代機架級系統架構提供，讓超大規模業者和原生 AI 公司能夠將工程資源專注於 XPU 創新，同時利用經過驗證的技術堆疊來實現擴展網路、機架級系統和軟體。這為部署半客製化 AI 基礎設施創造了一條更快、風險更低的途徑。
深入了解 NVLink 和 NVLink Fusion。
