在這一週之前，關於輝達（Nvidia）的主流說法大致是這樣的：在 AI 榮景的最初幾年，輝達是頂尖 GPU 的唯一供應商，隨著產業規模擴大，這讓他們獲利豐厚。然而，近幾年來，亞馬遜（Amazon）和 Google 等超大規模業者已開始自行開發晶片，輝達不再是市場上唯一的選擇，這讓許多投資人質疑其優勢的持久性。

這是一個引人入勝且大部分屬實的故事。在 2023 年初至 2025 年中，輝達的市值增長了十倍，但過去一年來，由於對 GPU 競爭的擔憂，其股價走勢趨於平緩。

自輝達週三公布財報以來，新的敘事已然成形，投資人開始意識到輝達的優勢遠不止於 GPU。隨著 AI 運算能力達到百萬瓩（gigawatt）規模，系統的協調（orchestration）已成為一項日益複雜的任務。不出所料，輝達已打造出許多處理此任務所需的頂尖硬體，這讓該公司在 GPU 周邊系統方面擁有巨大優勢，即使其 GPU 本身面臨日益激烈的競爭。

儘管人們常說運算能力已商品化，但在最高效率下運營超大規模資料中心仍然極其困難，隨著部署規模越來越大、速度越來越快，這項挑戰只會日益嚴峻。

逐機櫃檢視

透過檢視輝達實際銷售的產品細節，便可窺見一二。該公司目前正在推出其 Vera Rubin 架構，這套架構將 Rubin GPU 與一系列其他單元配對，包括 Vera CPU、Groq 3 LPX 推論加速器，以及用於儲存和網路的類似機櫃。

過去一週，我與輝達的人員討論了這些系統的實際作用，結果令人驚訝。就像 Rubin GPU 本身一樣，它們是高度專業化的系統，但它們並非用於處理 tokens，而是確保 GPU 外部的一切都能盡可能高效運作。如果說 GPU 是引擎，那麼這些就是汽車的其他部分。

特別是 Vera CPU，它專注於資料協調的問題。「Vera 很重要，因為單一伺服器或任何運算平台所能容納的記憶體是有限的」輝達儲存技術副總裁 Jason Hardy 告訴我。

隨著資料中心運算能力的擴展，記憶體容量也隨之增加，這也是美光（Micron）等公司在基礎設施熱潮第二波中致富的原因。然而，在正確的時間將資料傳輸到 GPU 並非易事，隨著公司尋求將每瓦特 tokens 數（tokens-per-watt）降得更低，他們意識到這種流量引導的重要性。

Hardy 表示：「我們在這些操作中看到了高達三倍的改進，Vera CPU 實現了加速。因此，我們現在可以充分利用我們的快閃記憶體，因為我們可以從中獲得所有性能而不會造成瓶頸。」

在輝達之外，你也能看到類似問題的解決方案。當 OpenAI 開發其 Jalapeño 晶片時，一個主要重點就是透過最大限度地減少資料移動來完全避免這些挑戰。

該公司在本月初的一篇部落格文章中表示：「我們設計 Jalapeño 是為了最大限度地減少資料移動和通訊延遲。其龐大的領域允許整個工作負載保留在一個連接的系統內，最大限度地減少資料移動，並幫助完整的請求從頭到尾保持快速和高效。」

這是一種不同的方法，透過在一個整合晶片內執行工作負載來完全避免資料移動。但整體邏輯是相同的，即透過更智慧的流量控制而不是僅僅增加處理器週期來提高效率。這反過來又為公司開闢了一個全新的基礎設施競爭層級。

這種對資料協調的新焦點並非自動為輝達帶來勝利。該公司將不得不與競爭對手晶片製造商和超大規模業者競爭，就像它在 GPU 方面所做的那樣。但競爭已轉移到一個新的層級，在這個層級上，開發一個競爭性 GPU 的重要性不如讓整個系統高效運作。

至少在早期階段，輝達似乎擁有絕對的領先優勢。