NVIDIA Vera Rubin 平台在今天公布的 MLPerf 基準測試中首次亮相,在訓練、後訓練和代理式推論方面均展現領先效能。
NVIDIA 橫掃了所有 MLPerf Training v6.1 基準測試,並在首次提交的 MLPerf Endpoints 測試中,為代理式 AI 帶來了超過 10 倍的每瓦吞吐量世代提升,這衡量了系統每瓦電力能完成多少代理式工作。
NVIDIA Vera Rubin 平台首次亮相 MLPerf 基準測試,在訓練、後訓練和代理式推論方面展現領先效能。它橫掃所有 MLPerf Training v6.1 基準測試,並在 MLPerf Endpoints 中為代理式 AI 帶來超過 10 倍的每瓦吞吐量提升。這些成果預示著 AI 基礎設施將提供更高的價值,並加速 AI 代理的發展。

NVIDIA Vera Rubin 平台在今天公布的 MLPerf 基準測試中首次亮相,在訓練、後訓練和代理式推論方面均展現領先效能。
NVIDIA 橫掃了所有 MLPerf Training v6.1 基準測試,並在首次提交的 MLPerf Endpoints 測試中,為代理式 AI 帶來了超過 10 倍的每瓦吞吐量世代提升,這衡量了系統每瓦電力能完成多少代理式工作。
這些成果僅是個開始,透過持續優化 NVIDIA 的 CUDA 軟體堆疊,Vera Rubin 的效能將會不斷提升。這表示客戶今日投資的基礎設施,將隨著時間推移提供更多價值。
AI 代理現在無處不在,它們撰寫程式碼、執行業務流程、回答客戶問題,並如本週 SC26 會議所強調,推動科學研究進展。
更快的訓練意味著更智慧的代理能更快地服務使用者,藥物發現模型能跟上新的實驗室數據,而詐欺偵測模型也能更快地適應新威脅。
MLPerf Training 衡量系統能以多快的速度,將一系列 AI 模型訓練到目標準確度。NVIDIA 平台是本輪唯一在所有基準測試中都取得成果的,涵蓋了大型語言模型、圖像生成、推薦系統和強化學習後訓練。Vera Rubin NVL72 首次亮相,其每顆 GPU 的效能比高度優化的 NVIDIA GB300 NVL72 系統高出兩倍,這些早期結果展現了世代創新的速度。
MLPerf Training v6.1 的結果於 2026 年 11 月 16 日從 www.mlcommons.org 取得,來自多個條目。MLPerf 名稱和標誌是 MLCommons Association 在美國及其他國家的商標,所有權利保留,未經授權使用嚴格禁止,詳情請見 www.mlcommons.org。
NVIDIA 也展示了規模化效能。在 DeepSeek-V3 基準測試中,Vera Rubin NVL72 從 256 顆 GPU 擴展到 1,024 顆 GPU,效率約達 97%,將 GPU 數量增加四倍後,訓練時間從 16 分鐘縮短到約 4 分鐘。
NVIDIA 也使用 GB300 系統在 10,240 顆 GPU 上運行了基準測試,這代表了本輪測試中的最大規模。Microsoft Azure 也使用 GB200 系統,以 10,240 顆 NVIDIA GPU 達到了相同的規模。
這種規模的結果至關重要,因為只有當 GPU 能高效協同工作時,增加 GPU 才能加速訓練。NVIDIA NVLink 擴展網路將每個系統內的 GPU 連接起來,使其像一個整體運作,而 NVIDIA Quantum-X800 InfiniBand 和 Spectrum-X Ethernet 擴展網路則將這些系統連接到整個資料中心。
結合優化的軟體,這使得數千顆 GPU 能協同工作,幫助開發者建立更智慧的模型,同時縮短訓練時間。
NVIDIA Vera Rubin 在 MLPerf Endpoints 的代理式推論中領先
一個能規劃並預訂整個旅程的旅行 AI 代理,或是一個能在問題被回報前就發現並解決的 IT 代理,可能需要多次推理、呼叫工具並檢查其工作才能完成單一任務。
這些步驟中的每一個都會產生 token。由於 AI 資料中心受到電力限制,系統每瓦電力每秒能產生越多的 token,就能服務越多的代理,並創造越高的價值。
MLPerf Endpoints 測試系統在實際代理式編碼和企業工作流程中的表現,並檢查代理是否仍能正確完成任務。NVIDIA Vera Rubin 在所有代理式基準測試中均處於領先地位。
例如,在針對 Kimi K3(一個為代理式工作流程設計的大型開源模型)的臨時結果中,Vera Rubin NVL72 系統在相同回應速度下,其每瓦吞吐量比 NVIDIA GB300 NVL72 高出十倍以上。
MLPerf® Endpoints v1.0, Kimi K3, 標準化組別,可用類別,於 2026 年 11 月 9 日發布。NVIDIA Vera Rubin NVL72 擁有 32 個加速器,結果為 1.0.1.kimi-k3.agentic_combined.1p,運行 9:並發性為 1,024 個查詢,TTFT P90 為 4,673.9 毫秒,系統 TPS 為 41,414.2 token/秒,E2E 平均互動性為每用戶 50.4 token/秒,運行功率為 100.89 kW。
NVIDIA GB300 NVL72 擁有 48 個加速器,結果為 1.0.0.kimi-k3.agentic_combined.1,運行 6:並發性為 48 個查詢,TTFT P90 為 2,305.1 毫秒,系統 TPS 為 2,210.4 token/秒,E2E 平均互動性為每用戶 56.2 token/秒,運行功率為 60 kW。
此比較基於在每用戶最低 E2E 平均互動性為 50 token/秒的情況下的每千瓦吞吐量。結果於 2026 年 11 月 9 日從 endpoints.mlcommons.org 取得。GB300 結果已由 MLCommons Association 驗證。
Vera Rubin 的臨時結果:待 MLCommons Association 驗證,結果可能因同行評審而改變。MLPerf 名稱和標誌是 MLCommons Association 在美國及其他國家的註冊和未註冊商標,所有權利保留,未經授權使用嚴格禁止,詳情請見 www.mlcommons.org。
每項 AI 服務都必須在同時服務眾多使用者與快速回應每個使用者之間取得平衡。Vera Rubin 平台改變了整個曲線,能在服務更多使用者的同時提供更快的反應速度。
跨基準測試與工作負載的領先地位
NVIDIA 的合作夥伴廣泛參與了 MLPerf Training,共有 20 個組織提交了結果,包括 ASUS、Azure、Cisco、CoreWeave、Crusoe、Dell Technologies、Firmus、Giga Computing、Google Cloud、HPE、Inventec、Krai、Lambda、Nebius、Oracle、Quanta Cloud Technology (QCT)、Supermicro、TTA 和 University of Florida。
他們的提交結果顯示,NVIDIA 的可程式化平台,結合開源函式庫和框架,如何讓龐大的合作夥伴生態系統能夠創新並優化 AI 訓練效能。
領先地位不僅限於 MLPerf。Vera Rubin 在獨立基準測試中也展現領先效能,包括 SemiAnalysis AgentX 和 Artificial Analysis AgentPerf,這證明了相同的 NVIDIA 基礎設施能高效運行從預訓練、後訓練到代理式推論的所有任務,甚至包括 AI 以外的工作負載,例如本週 SC26 會議展示的高效能運算。
欲深入了解這些結果,請參閱 MLPerf Training 和 MLPerf Endpoints 的技術部落格。
覺得值得一看?分享給朋友。
以上為 AI 自動翻譯導讀。原文版權歸 NVIDIA Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。
43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。