在地 AI 的應用正日益普及。隨著 AI 代理從實驗階段走向日常開發,功能日益強大的開源模型也逐漸縮小,以適應更多裝置,讓開發者能在本地端執行更多任務。

本月稍晚,NVIDIA DGX Spark 將推出配備 64GB 統一記憶體的版本,由宏碁(Acer)、華碩(ASUS)、戴爾(Dell)、技嘉(Gigabyte)、惠普(HP)和微星(MSI)等頂尖製造商夥伴提供。這將為開發者、研究人員和 AI 愛好者帶來全新配置,並預載 DGX OS 及 NVIDIA AI 軟體堆疊,開箱即用。

這款新產品能夠在裝置上私密地執行高效能的在地 AI 代理,無需依賴雲端服務。當工作負載增加時,兩台裝置還能透過 NVIDIA Sync Cluster Assistant 輕鬆組成叢集,無需額外設定。

DGX Spark 將 NVIDIA Grace Blackwell 運算、統一記憶體、NVIDIA ConnectX-7 網路和 NVIDIA CUDA 加速的 AI 軟體堆疊整合於單一系統中。它是一個完整的在地 AI 平台,適用於 AI 代理、推論、微調、資料科學和邊緣開發。

這款輕巧的個人 AI 超級電腦,讓開發者能夠在本地端實驗模型和自己的資料,而無需為每個任務都依賴雲端實例。

全新的 64GB 配置僅由製造商夥伴獨家提供,在保持親民價格的同時,仍保有 GB10 Grace Blackwell 超級晶片、DGX OS 和完整的 NVIDIA AI 軟體堆疊,與 128GB 模型相同。它支援高達千億參數的模型及其上建構的代理應用程式,完全在裝置上執行。

兩台 64GB 裝置組成叢集,不僅能將記憶體加倍。根據 NVIDIA 在 Qwen 3.8 27B 上的測試,兩台 64GB 系統組成的叢集,相較於單一系統,效能提升高達 1.7 倍,並能隨著工作負載需求持續擴展。

DGX Spark 開箱即支援 AI 代理開發,NVIDIA Agent Toolkit、CUDA-X AI 函式庫、Nemotron 開源模型,以及 Ollama、vLLM 和 PyTorch with CUDA 等熱門執行環境都已預先支援。開發者從開機到執行模型只需幾分鐘。

Blender 是首批支援此平台的主要創作者應用程式供應商之一,預建的可下載安裝程式即將推出。

開發者可以從目前專案所需的記憶體開始,並在一個專為隨著工作流程增長而無縫擴展多節點叢集以處理更大工作負載的平台上進行建構。

每台 DGX Spark 都內建 NVIDIA ConnectX-7 網路卡。此外,兩台裝置可以直接透過 QSFP 纜線連接,將記憶體匯集至 128GB,並將模型支援擴展至高達 2000 億參數,同時提供兩倍的記憶體頻寬和高達 1.7 倍的效能。

NVIDIA Sync 應用程式能無縫配置這個多節點叢集。其叢集助理功能會偵測連接的裝置、驗證裝置配置並設定 ConnectX-7 網路,讓開發者能專注於工作而非基礎設施。每個節點都執行相同的 NVIDIA 軟體堆疊,因此從一台擴展到兩台時無需重新配置任何東西。

本月底,NVIDIA Sync Model Launcher 將推出,讓執行在地 AI 變得像點擊幾個按鈕一樣簡單。開發者可以在單一 DGX Spark 系統或叢集上下載並啟動 Qwen3.8 27B,NVIDIA Sync 會自動配置模型以在連接的裝置上運行,並讓使用者可以從筆記型電腦存取。該啟動器還將設定 OpenCode 以使用該模型,讓開發者可以在瀏覽器中開始編碼。

全新的 DGX Spark 64GB 配置從第一天起就支援實際工作。由於高達千億參數的模型可以完全在裝置上運行,開發者和愛好者可以從單一系統開始處理適合其記憶體的模型,或者透過 NVIDIA Sync Cluster Assistant 連接多個 DGX Spark 系統,以應對需要更多記憶體和運算能力的工作負載。

以下是三個工作流程範例:

全天候運行 AI 代理:讓編碼或研究代理在 DGX Spark 上持續運行,隨時準備審查程式碼、分析文件或執行多步驟任務。叢集則為更大的模型、更長的上下文視窗或多個代理同時工作提供額外容量。

在日常電腦上驅動 AI 應用程式:在 DGX Spark 上運行語言或圖像生成模型,同時在筆記型電腦或桌上型電腦上使用代理或創意應用程式。DGX Spark 負責模型推論,讓個人電腦可以處理其他工作。

工作量增加時擴展:當單一任務超出單一裝置的處理能力,例如運行更大的模型、更長的上下文視窗或同時處理多個代理請求時,兩台透過 NVIDIA Sync Cluster Assistant 經由 200 GbE 網路連接的 DGX Spark 64GB 系統會將記憶體匯集至 128GB。原本在單一裝置上運行的工作流程,無需重新配置軟體環境即可擴展到兩台裝置。

DGX Spark 64GB 將於 10 月 23 日星期五起,由宏碁(Acer)、華碩(ASUS)、戴爾(Dell)、技嘉(Gigabyte)、惠普(HP)和微星(MSI)發售,起價為 4,999 美元。

若要開始使用:

下載支援的推論框架,例如 llama.cpp、Ollama、vLLM 或 LM Studio。

下載工作流程推薦的在地模型。

若要擴展至兩台裝置,請透過其 NVIDIA ConnectX-7 連接埠連接它們,並啟動 NVIDIA Sync Cluster Assistant,它會自動配置網路並路由工作負載。

欲了解 DGX Spark 上的 AI 代理應用指南,請造訪 build.nvidia.com 上的 NemoClaw、OpenClaw、Hermes Agent 和 OpenShell 頁面。

更多 NVIDIA 在地 AI 更新資訊:

請在 build.nvidia.com/spark 探索 DGX Spark 的應用指南。以下應用指南即將支援 64GB 裝置:

使用 vLLM 服務大型語言模型

使用在地大型語言模型運行 OpenClaw

連接多個 DGX Spark 以處理分散式工作負載

由 NVIDIA RTX Spark 驅動的全新 Windows 個人電腦將於本月由宏碁(Acer)、華碩(ASUS)、戴爾(Dell)、惠普(HP)、聯想(Lenovo)、微軟(Microsoft)和微星(MSI)推出。訂閱 RTX Spark 電子報以接收未來更新。

阿里巴巴的 Qwen-Image-2.1 將圖像生成和編輯整合到一個輕量級的開源模型中。它可以在 NVIDIA RTX GPU、DGX Spark 和 DGX Station 上本地運行,為創作者提供了更多在自己的硬體上創作和精修圖像的方式。

在 X、Instagram、TikTok 和 Facebook 上追蹤 NVIDIA RTX Spark,並訂閱 NVIDIA 在地 AI 電子報以獲取最新資訊。在 LinkedIn 和 X 上追蹤 NVIDIA Workstation。