跳到主要內容
maxstudioNews
產品NVIDIA Blog約 3 分鐘

NVIDIA NVLink Fusion 導入 NVHBM,提升 AI 記憶體效能與效率

NVIDIA 推出 NVHBM 客製化高頻寬記憶體技術,擴展其 NVLink Fusion 平台,旨在滿足新一代 AI 基礎設施的需求。NVHBM 將記憶體控制器整合至 HBM 堆疊中,顯著提升記憶體頻寬並降低功耗,同時釋放 XPU 晶片面積以增強運算能力。Amazon 的 Annapurna Labs 將率先採用此技術,並將其 Trainium4 晶片與 NVIDIA 的 NVLink Fusion 平台整合,共同加速 AI 工作負載的效能與效率。

NVIDIA NVLink Fusion 導入 NVHBM,提升 AI 記憶體效能與效率
圖片來源:NVIDIA Blog

新一波 AI 浪潮對基礎設施提出了新的要求。隨著 AI 代理和兆級參數工作負載成為主流,AI 基礎設施的效能不僅取決於運算能力,更在於運算、記憶體、儲存、網路和軟體如何作為統一系統協同設計。

為協助超大規模業者和 AI 創新者建構下一代半客製化 AI 基礎設施,NVIDIA 今日透過 NVIDIA NVHBM 擴展了 NVIDIA NVLink Fusion。NVHBM 是一種新一代高頻寬記憶體技術,能為 XPU 帶來更高的記憶體效能和效率。這項技術將由領先的記憶體合作夥伴進行驗證並提供,將此先進的記憶體能力延伸至 NVLink Fusion 客戶。

傳統的 HBM 架構將記憶體控制器放置在 XPU 晶粒上,佔用了寶貴的矽晶面積,而這些面積原本可以專用於運算。NVHBM 採用 NVIDIA 未來 GPU 將使用的相同技術,將 NVIDIA 的客製化記憶體控制器整合到 HBM 基底晶粒中。

透過將記憶體控制器整合到 3D HBM 堆疊而非 XPU 中,NVHBM 可提供高達 30% 的記憶體頻寬提升和 15% 的 HBM 功耗降低。與標準 HBM4E 相比,它還能釋放 XPU 運算晶粒上多達 25% 的面積。

NVIDIA 正在建立標準化的 NVHBM 實作方案,將由多家記憶體供應商提供。這減少了整合和驗證來自多個供應商記憶體所需的工程工作,為 NVLink Fusion 客戶提供了更快將客製化 AI 晶片推向市場的途徑。

Amazon 的 Annapurna Labs 將成為首批與 NVIDIA 合作開發 NVHBM 的公司,這也是其與 NVIDIA 在 NVLink Fusion 方面更廣泛合作的一部分。

AWS 與 NVIDIA 持續深化 NVLink Fusion 合作

Amazon 的 Annapurna Labs 將與 NVIDIA 合作開發 NVHBM 技術和 NVLink 擴展架構,以提升 AI 工作負載的效能和效率。

這項合作建立在 AWS 先前宣布支援 NVLink Fusion 的基礎上。Annapurna Labs 將從 Trainium4 開始,以其下一代 Trainium 晶片支援 NVLink Fusion,這將使 Amazon 晶片和 NVIDIA GPU 能夠在共同的機架級架構下協同運作。

Amazon Annapurna Labs 副總裁 Nafea Bshara 表示:「NVHBM 代表了一種新的架構方法,旨在提升高頻寬記憶體的效能和效率。我們期待這項技術合作能嘉惠未來的 AWS 基礎設施設計。」

垂直整合與水平開放

NVLink Fusion 使合作夥伴能夠將客製化的 XPU 和 CPU 連接到 NVIDIA 的機架級平台。

合作夥伴可以取得 NVIDIA NVLink 小晶片、NVLink-C2C、NVLink 交換器和 NVIDIA MGX 系統與機架,以及廣泛的 CPU 合作夥伴、ASIC 設計者、系統製造商和技術供應商生態系。

NVLink Fusion 隨 NVIDIA 每一代機架級系統架構提供,讓超大規模業者和原生 AI 公司能夠將工程資源專注於 XPU 創新,同時利用經過驗證的技術堆疊來實現擴展網路、機架級系統和軟體。這為部署半客製化 AI 基礎設施創造了一條更快、風險更低的途徑。

深入了解 NVLink 和 NVLink Fusion。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 NVIDIA Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。