NVIDIA Vera CPU：兼具高效能與高吞吐量，加速 AI 代理運作

AI 代理不僅僅是生成答案，它們還能搜尋資訊、查詢資料庫、編寫與測試程式碼並採取行動。

這些步驟中的每一個都依賴於 CPU，AI 代理在執行任務時會在 GPU 的推理與 CPU 的執行之間切換。

隨著企業部署更多 AI 代理，AI 工廠需要能夠快速執行這些步驟並同時支援大量代理的 CPU，同時還要考量可用功耗的限制。

這意味著 AI 基礎設施供應商需要在不增加每個代理等待時間的情況下，支援更多代理。更重要的是，AI 工廠的功耗是有限制的，這表示營運商需要選擇能最大化每瓦功耗所完成工作的基礎設施。

NVIDIA Vera CPU 在單一 CPU 中同時提供快速的代理效能和高每瓦容量。這讓供應商只需一種 CPU 就能處理各種代理工作負載，而無需混搭快速與高密度的 x86 零件來平衡速度和容量。

數據證明，在 100 兆瓦資料中心的比較中，NVIDIA 發現單一 Vera CPU 的表現優於最快的 x86 CPU 和最節能的 x86 CPU。

相較於最快的 x86 CPU，Vera 在提供業界領先的代理速度的同時，每瓦功耗可支援多 1.6 倍的代理。

與最節能的 x86 CPU 相比，Vera 以領先的能源效率，提供 2 倍的代理速度。

合作夥伴已經開始採用 Vera。早期採用者在生產環境測試中也看到了同樣卓越的效能：

Perplexity：使用 Vera 執行代理編碼任務的速度比傳統 CPU 快 1.5 倍。Perplexity 計劃在即將推出的生產系統中部署 Vera。

DeepInfra：在其生產代理工作負載的代理協調方面，速度比最佳 x86 處理器快 2.2 倍，達到所測試四種架構中最快的效能。

ClickHouse：其標準二進位檔在沒有針對 Vera 進行特定調校的情況下，在 176 個核心上實現了近乎線性的擴展，並在 ClickBench 硬體排行榜上名列前茅。

DuckLabs：實現了約 1.5 倍於 Intel Xeon 6 基準的 TPC-H SF1000 中位數效能。

Daytona：使用 Vera 在 10.8 秒內啟動了 1,000 個代理沙盒，並在 2,000 個並行沙盒下實現每秒 12.7 個完成的工作，而 x86 則需要 88.4 秒。

Modal：每個核心的沙盒吞吐量比同級 x86 硬體高出 2 倍，且在重負載下增益更大。

欲了解更多關於 NVIDIA Vera CPU 的資訊。