微軟示警：AI 代理程式如內部威脅，前沿模型不可輕信

微軟週一推出新的安全功能，旨在保護企業免受日益增長的 AI 代理程式威脅。在此之前，微軟持續向企業示警 AI 和代理程式的潛在危險。

其中最引人注目的新功能是 Guardian Agents，它旨在監控企業使用的 AI 代理程式。Guardian Agents 是 Project Perception 的一部分，Project Perception 是微軟於六月推出的一項產品。

Project Perception 是微軟為應對 Anthropic 的 Mythos 和 Fable 等強大駭客模型，以及 OpenAI 的安全漏洞掃描系統 Daybreak 而開發的。Project Perception 最初推出了三種類型的代理程式：扮演駭客進行攻擊的「紅隊」、偵測紅隊並評估其發現漏洞的「藍隊」，以及負責修復漏洞的「綠隊」。

該產品最初的設計假設是 AI 駭客將來自公司外部。然而，微軟執行長 Satya Nadella 近來警告，AI 的敵人可能正是企業已部署並付費使用的代理程式，這就像一個不法的人類員工，也就是所謂的「內部威脅」。

本月初，Nadella 在他的私人部落格中警告，是時候停止信任 AI 模型供應商了，即使他們對其代理產品提供安全保障。他希望企業實施獨立於 AI 實驗室控制的系統，來監控和管理這些 AI 實驗室產品所啟動的代理程式。

他寫道：「我們正在部署這些複雜的代理系統和模型，它們可以存取我們最敏感的資料，並有能力代表我們執行關鍵任務！」他強調：「我們不能將智慧體代表我們所做行為的責任外包。模型供應商的保證並不能解除我們的責任。換句話說，我們需要將智慧體的供應與其權限分開。」

在宣布 Guardian Agents 時，微軟安全業務主管 Hayete Gallot 的說法更為直接。她寫道：「不幸的是，前沿模型，無論其來源為何，都無法完全信任。」她補充說，這並非因為它們具有惡意或容易被駭客入侵，而是因為它們具有不可預測性。

這些模型被訓練來完成任務，而非遵循「組織規範或判斷」。此外，它們通常被賦予極高的權限，可以存取可能造成嚴重損害的資料和工具。

微軟的解決方案既令人驚訝又帶有私心。令人驚訝的是，微軟與 OpenAI 和 Anthropic 關係密切，並對兩者都有投資。OpenAI 也是微軟最大的雲端客戶之一，且微軟本身也有 AI 實驗室開發模型。因此，微軟正在對其部分商業利益散播不信任感。

而私心之處在於，微軟希望企業向其（雲端供應商）購買代理程式安全產品，而非向 Anthropic 和 OpenAI 購買。但撇開利益衝突不談，其邏輯是合理的。監控代理程式行為的軟體應與代理程式的供應商分開，就像審計師應獨立於他們所審計的組織一樣。

正如 Nadella 所說：「我們需要將智慧體的供應與其權限分開。」

微軟正以多種方式抓住這個商機。除了 Guardian Agents，它還在其 Microsoft Defender 產品中增加了代理程式偵測功能，可以發現員工帶入工作場所的最多 60 種代理程式，包括 Claude Code、Codex 和 OpenClaw。此外，它還增加了限制代理程式存取資料和系統的功能，並根據任務動態調整其權限，這包括如果代理程式似乎正在做出有風險的決策時，需要人類批准。

將代理程式視為不可信任的內部威脅，這種觀點也正在整個產業中逐漸形成。

微軟是 Nvidia 新推出的 Open Agent Safety Platform 的創始成員之一，該平台獲得了超過 100 家其他科技公司的支持。該平台將代理程式隔離在安全環境中，並能透過硬體監控和阻止其行為，功能類似於一個緊急停止開關。

在此之前，微軟也宣布推出專為代理程式設計的新款 Surface Laptop Ultra PC，這些電腦搭載 Nvidia 晶片，並內建代理程式安全與控制功能。