針對 AI 代理程式破壞線上基礎設施的報導不斷，晶片製造商 Nvidia 正號召科技公司採用其新的開源 AI 安全工具。在過去幾個月中，領先的 AI 實驗室已揭露多起 AI 代理程式入侵其他公司，或在近期案例中探測美國和澳洲政府官方網站的事件。Nvidia 已經在號召 AI 產業圍繞開源安全方面發揮主導作用，現在更推出一個新的軟體安全平台，並讓代理式 AI 沙盒更廣泛地可用。

Nvidia 最近推出的 AI 代理程式安全沙盒之一 OpenShell，現已全面開放給所有使用者。OpenShell 最初在 Nvidia 三月份的年度 GTC 大會上宣布；它是一個框架，用於在代理程式執行任務時將其限制，並將其活動隔離在作業系統核心中。作業系統核心是基礎程式，幾乎可以存取電腦系統的所有部分，以協調硬體和軟體。

Nvidia 的發布資料顯示，它與數十家其他科技公司進行 AI 安全合作，包括 Anthropic、Cisco、CoreWeave、CrowdStrike、Dell Technologies、Hugging Face、JPMorganChase、Mistral、Microsoft 和 Palantir。

Nvidia 表示 SpaceXAI 正在為其 Cursor 代理程式和 Grok 模型使用 Open Agent Safety Platform。該公司還指出 Anthropic 和 Nvidia 正在「將安全性建構到 Claude Managed Agents 中」。

Salesforce、Scale AI 和 SAP 都已確認在某種程度上整合 OpenShell。然而，目前尚不清楚 OpenShell 是否已被 Nvidia 的所有合作夥伴採用，或者 Nvidia 只是廣泛提及。

Nvidia 的名單中完全缺少一個值得注意的名字：OpenAI。兩家公司都表示 OpenAI 是 Nvidia OpenShell 工作的一部分，但都拒絕直接評論為何該 AI 實驗室被排除在公告之外。

早在最近失控代理程式駭客事件揭露之前，安全工程師和 AI 安全專家就已考量到隔離和監控代理式 AI 的必要性。Nvidia 在三月份的 OpenShell 公告中就指出，該框架將為「自我演進、自主的 AI 代理程式（或稱爪子）」增加「隱私和安全控制，使其更值得信賴、可擴展和易於存取」。

這比 OpenAI 披露其 AI 代理程式入侵開源 AI 公司 Hugging Face 早了幾個月。（Nvidia 已於本月稍早以 129 億美元收購 Hugging Face。）

這家晶片巨頭還開發了一個名為 Sentry 的新軟體平台，這是一個用於晶片的隔離安全領域，旨在持續監控長期運行的 AI 代理程式。雖然 Sentry 在技術上是一個軟體工具，但它旨在 Bluefield（Nvidia 的可程式資料處理單元 DPU 系列）上實施。其理念是，除了 OpenShell 施加的限制之外，Sentry 可以作為一個獨立的機制，能夠「隔離試圖越界移動的代理程式」。

Nvidia 企業運算副總裁兼總經理 Justin Boitano 表示，Sentry 是 Nvidia 客戶和開源使用者透過 OpenShell 實際實施安全政策的另一種方式。他指出，傳統沙盒是為「應用程式級別隔離」而建構的，但現在人們希望運行大量的代理程式，這需要「所有這些代理程式的集體政策」。

Boitano 說：「代理程式在尋找實現其目標的方法上非常有創意。」「有了這個，代理程式只能存取安全團隊希望它們擁有的意圖。」

Boitano 補充說，Nvidia 正在與 Arm 和 Intel 合作，為 x86 晶片架構創建一個 Sentry 版本。他說：「一旦它在這些指令集架構上運行，它就可以在任何架構上運行。」

Nvidia 將所有這些定位為一個新的開源框架，稱為 Open Agent Safety Platform，現在也包含 OpenShell 和 Sentry。

Nvidia 在七月發起了一個涵蓋全產業的 AI 安全聯盟，目前已包含 120 多家公司。該聯盟的既定目標是透過一個名為 Shared AI Findings Exchange (SAFE) 的計畫來降低 AI 風險。上個月，Boitano 表示 SAFE 旨在「獨立治理，沒有任何單一公司或產業部門控制其發現」。

然而，一家公司不斷出現在這些全產業、開源 AI 倡議的中心，那就是 Nvidia。這家全球市值最高的公司，大多數科技產業都依賴其性能最佳的晶片，似乎正在將自己定位為深化其影響力，並在 AI 技術堆疊的不同層面（從晶片到安全軟體）設定標準。

儘管業界已在努力遏制和控制代理程式，但最近失控代理程式的行為表明，有必要提高對長期核心安全實踐的認識，甚至在市值數兆美元的領先實驗室中也是如此。一些專家表示，這也觸及了關於自主軟體「失控」究竟意味著什麼的核心問題。

資深安全工程師兼研究員 Niels Provos 普遍談到旨在遏制和監控代理程式的工具時表示：「任何能讓公司更容易、更安全地部署代理程式的措施都值得讚揚。」Provos 本人於二月推出了一個專注於這些問題的開源框架。「這些工具至少有助於消除代理程式無法控制的神話。」