跳到主要內容
maxstudioNews
產品NVIDIA Blog約 5 分鐘

NVIDIA 擴大開源投入,捐贈 OpenShell 並發表 AI 基礎架構新工具

NVIDIA 在 KubeCon 大會上宣布深化對開源社群的承諾,將 OpenShell 捐贈給 Cloud Native Computing Foundation (CNCF),以強化自主代理程式的安全性與治理。同時,NVIDIA 也與 Google 合作開發 Agent Substrate,旨在大規模部署 AI 代理程式。此外,NVIDIA 還發表了 DSX AI Factory Platform 的新組件,包括 NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot,以簡化 AI 工廠在 Kubernetes 上部署與擴展 GPU 基礎架構的流程。

NVIDIA 擴大開源投入,捐贈 OpenShell 並發表 AI 基礎架構新工具
圖片來源:NVIDIA Blog

Kubernetes 這個開源系統負責管理應用程式在數千個 AI 工廠中的運行,已成為 AI 的基礎,且其需求正持續增長。為滿足這些需求,NVIDIA 在 Kubernetes 和雲原生社群的旗艦會議 KubeCon + CloudNativeCon 上,深化了對開源的承諾。

NVIDIA 將 NVIDIA OpenShell 貢獻給 Cloud Native Computing Foundation (CNCF)。OpenShell 是一個開源運行時,用於保護和治理自主代理程式,而 CNCF 則是 Linux Foundation 旗下的一個非營利組織,也是 KubeCon 的主辦方。

作為 CNCF 沙盒專案,OpenShell 將由將其整合到產品中的組織共同治理,並透過全球安全專業人士的專業知識來強化。

NVIDIA 也正為 Agent Substrate 做出貢獻,這是一個由 Google 主導的開源框架,用於在 Kubernetes 上大規模運行長期代理程式工作負載,並已獲 CNCF 沙盒專案接受。此外,NVIDIA 還宣布了 NVIDIA DSX AI Factory Platform 的新組件,包括 NVIDIA Kubernetes Engine、NVIDIA Kubernetes Recipes 和 NVIDIA Snapshot。

這些工具旨在協助團隊在 Kubernetes 上部署、管理和擴展 AI 工廠的 GPU 基礎架構。

總體而言,這些進展標誌著 Kubernetes 成為大規模 AI 工作負載領先基礎的重要一步,賦予開發人員為未來建構更安全、更高效 AI 基礎架構的能力。

NVIDIA 將 OpenShell 貢獻給 CNCF,將自主代理程式的安全基礎架構交由社群共同建構、檢視和改進,加速開發並強化其安全防護。

Linux Foundation 執行長 Jim Zemlin 表示:「雲原生社群面臨一個新的基礎架構挑戰,即為代理程式提供安全的運行環境。」他進一步指出:「NVIDIA 將 OpenShell 貢獻給 CNCF,為開發人員提供了一個共同的基礎來進行建構,並有機會塑造代理程式安全性的發展。將這項工作引入社群,將促進更廣泛的基礎架構協作,這對下一代雲原生應用程式至關重要。」

OpenShell 賦予組織控制 AI 代理程式行為的能力。它對代理程式活動應用確定性控制,因此團隊可以在代理程式使用工具、存取推論服務和執行工作負載時強制執行策略。其可擴展的架構讓團隊能夠連接自己的運算資源、推論供應商、憑證儲存和監控工具。這使得組織能夠在不同的部署環境中應用治理,同時將 OpenShell 與其現有的企業系統整合。

自推出以來不到一年,已有數百個組織採用 OpenShell,該專案也獲得了數萬次的貢獻。

在 Kubernetes 上擴展代理程式執行,治理代理程式只是挑戰的一部分。組織也需要大規模部署它們。

NVIDIA 正為 Agent Substrate 做出貢獻,這是一個源自 Google 的 CNCF 沙盒專案,並確保它能與 NVIDIA Dynamo 協同運作以進行模型推論,以及與 KAI Scheduler 協同運作以分配共享叢集資源。這項努力將代理程式執行、推論服務和 Kubernetes 上的資源排程整合在一起。

Agent Substrate 在任務之間保留代理程式環境,並在代理程式閒置時釋放運算資源。透過在共享代理程式池中暫停和恢復這些環境,它讓團隊能夠擴展代理程式工作負載,而無需為每個會話保持專用運算資源運行。

NVIDIA 和 Google 也正在合作整合 OpenShell 和 Agent Substrate,以便企業能夠在雲端和地端系統中安全地治理代理程式。

建立 AI 工廠的開放基礎,AI 工廠需要向客戶提供託管的 Kubernetes 服務,同時保留對其基礎架構、軟體和客戶體驗的控制權。三個新的開源專案擴展了 DSX AI Factory Platform,使 Kubernetes 更易於運行,並能更快地擴展推論能力。

NVIDIA DSX AI Factory Platform 軟體堆疊涵蓋了從 GPU 基礎架構、Kubernetes 管理到工作負載編排和模型服務的各個層面。

NVIDIA Kubernetes Engine (NVKE) 和 NVIDIA Kubernetes Recipes (NVKR) 現已推出公開預覽版,為在 GPU 基礎架構上提供託管 Kubernetes 服務提供了開源建構區塊。它們自動化了叢集生命週期管理,並提供了簽名且版本固定的映像檔。

NVKE 和 NVKR 的推出獲得了生態系統的支持,將其影響力擴展到 AI 基礎架構平台和雲端服務。Mirantis、Netris、OpenNebula Systems、Rafay、Spectro Cloud 和 vCluster,以及 Firmus 和 SK Telecom,已與 NVIDIA 達成整合計畫,將 NVKE 和 NVKR 的功能納入其產品中。

NVIDIA Snapshot 解決了快速上線額外推論容量的挑戰。載入模型和預熱工作負載可能會延遲擴展和恢復。這個開源的模組化組件可以在幾秒鐘內恢復檢查點副本,無需重新載入模型或預熱,從而支援 Kubernetes 上推論和代理程式工作負載的更快啟動、恢復和彈性。

設計合作夥伴 Crusoe 和 Saturn Cloud 已使用 NVIDIA HGX B300 系統,在他們自己的工作負載上評估了 Snapshot。作為 Snapshot 的上游貢獻者,Crusoe 在 Crusoe Cloud 上測試了 GLM-5.3,將工作負載準備就緒的時間從大約八分鐘縮短到 31 秒。

代幣工廠平台 Saturn Cloud 則對 Snapshot 進行了從零開始推論的基準測試,將 vLLM 的啟動時間從兩到八點五分鐘縮短到六到 34 秒。

欲了解更多資訊,請在 KubeCon 上加入 NVIDIA。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 NVIDIA Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。