跳到主要內容
maxstudioNews
產品NVIDIA Blog約 2 分鐘

Lambda 導入 NVIDIA 光子交換器,強化 AI 工廠運算韌性與效率

雲端服務供應商 Lambda 正採用 NVIDIA Photonics 共同封裝光學元件 (CPO) 交換器,以連結其超過 10,000 個 GPU 的 NVIDIA GB300 NVL72 機架。這項部署為大規模 AI 工廠帶來更低的功耗、更高的韌性以及更長的中斷平均時間。透過這項技術,網路延遲顯著降低,同時保持高吞吐量,對於支援下一代 AI 基礎設施至關重要。

Lambda 導入 NVIDIA 光子交換器,強化 AI 工廠運算韌性與效率
圖片來源:NVIDIA Blog

為了訓練 AI 模型,數千個 GPU 必須協同運作,這需要一個快速、高效且具備韌性的網路。

Lambda 正透過 NVIDIA Photonics 共同封裝光學元件 (CPO) 交換器來解決網路難題。這家雲端服務供應商正使用這些交換器,將 NVIDIA GB300 NVL72 機架與超過 10,000 個 GPU 連結起來,為大規模 AI 工廠帶來更低的功耗、更高的韌性以及更長的中斷平均時間 (MTBI)。

Lambda 雲端服務總裁 Dave Ward 表示:「網路必須跟上日益龐大 AI 叢集的需求。」他補充說:「將共同封裝光學元件導入如此規模的部署,是建立支援下一代 AI 所需基礎設施的重要一步。」

在 Lambda 使用這些交換器進行的測試中,網路延遲(資料傳輸所需時間)在機架規模下降低了約 4%,在 Pod 規模下則降低了高達約 10%。在機架、可擴展單元和 Pod 配置中,該網路仍能維持與傳統可插拔光學元件相同的吞吐量。

提升能源效率和韌性至關重要,因為網路是 AI 工廠生產力的核心。在大型訓練任務中,一個中斷的連結可能導致數千個 GPU 停滯。

對於代理式推論,一次網路中斷可能對許多代理引入連鎖的延遲效應。每一次中斷都耗費時間,而每一個用於網路的瓦特,都意味著計算能力少了一個瓦特。

NVIDIA Photonics 同時解決了能源效率和韌性問題。透過將可插拔光收發器替換為交換器封裝上的共同封裝光學引擎,它比傳統可插拔光學元件提供高達 5 倍的能源效率和高達 15 倍的可靠性。它還減少了 4 倍的雷射使用量,這意味著更少的潛在故障組件。

Lambda 的部署採用 NVIDIA Photonics 交換器,每個交換器有 144 個連接埠,運行速度為 800Gb/s。液體冷卻系統將熱量從交換器晶片和光學引擎中帶走。

該公司報告光學元件的平均溫度為 36°C,而傳統可插拔光學元件為 51°C,其測試也發現訊號完整性更為穩定。

NVIDIA Photonics 還將電光轉換更靠近交換器晶片。每個交換器有 18 個可拆卸的外部光源,為光學引擎提供光源。光學引擎與晶片共同封裝在同一套件上,將電訊號轉換為光訊號,透過光纖在叢集各部分之間傳輸資料。

技術人員可以在現場更換光源模組,這與傳統可插拔光學元件不同,傳統元件若雷射故障則需要更換整個模組。

共同封裝將電氣路徑從數英寸縮短至數毫米,從而減少訊號損失。它還消除了對重定時晶片的需求,同時降低了功耗和訊號路徑中的零件數量。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 NVIDIA Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。