Google 研究：自主 AI 代理的隱私與安全挑戰，提出情境導向解決方案

我們正快速邁向一個由高度通用且日益自主的代理所定義的運算環境。這些系統由大型語言模型（LLM）驅動，能夠動態生成計畫並調用外部工具，潛力在於讓 AI 無縫處理複雜的多步驟任務。

然而，要實現這一潛力，必須解決一個關鍵挑戰：在賦予代理能力之餘，確保它們行為得體。今天，我們分享一份全面的新工作坊報告，名為《代理隱私與安全中的開放與新興問題：情境視角》，這是由來自眾多機構的 50 多位學術界和業界領袖共同努力的成果。

我們在 2025 年底於紐約市舉行的 Google 情境代理隱私與安全（CAPS）工作坊中會面。在這份報告中，您將會發現自主代理目前面臨的基礎隱私與安全挑戰的詳細分析，這些挑戰需要在系統、模型、使用者和生態系統層面進行協調防禦。

代理 AI 的核心挑戰在於，為了讓代理有用，它可能需要存取個人資料，並在廣泛的情境中採取具有影響力的行動。然而，這種存取權限加上代理的行為彈性，需要與傳統軟體截然不同的方法。

與傳統的確定性軟體不同，代理在三個關鍵維度上有所不同，這些差異導致了研究社群必須共同解決的挑戰：非結構化介面與輸入模糊性：代理處理自然語言和圖像等格式的指令，這使得定義「預期行為」或防範提示詞注入等惡意操縱變得困難。

機率性控制流程：生成式規劃導致機率性的執行路徑，傳統測試方法難以確保其安全性。自主性與委派：隨著代理處理更長的任務並將子任務委派給其他代理，傳統的使用者監督變得效率低下且可能不足，存在「確認疲勞」的風險。

鑑於有用的代理可能需要分享資料並完成任務，我們相信可信賴代理的未來取決於它們理解、推理並受其行動的社會規範和適當性所約束的能力，尤其是在其運作的特定情境中。

但我們如何教導代理理解「情境」和適當性呢？我們的報告以情境完整性（CI）理論為基礎，該理論將隱私定義為「適當的資訊流動」，而非僅僅是保密或控制，並依據既定且合理的社會規範。

情境特定的資訊規範由其行為者（誰向誰發送和接收資訊）、資訊類型（特定類別的資訊，如醫療或財務記錄）和傳輸原則（管理流動的規則，如機密性或互惠）定義。例如，您可能願意與虛擬購物助理分享您的禮物購物清單，但不會與家人和朋友分享。

我們的報告將情境完整性從資訊共享擴展並推廣到情境安全，即代理行動的適當性。透過將代理隱私與安全錨定在 CI 上，我們探索如何設計系統，使其在執行任何行動之前評估該行動是否符合社會和情境的適當性。

自情境完整性理論發展以來，LLM 首次提供了機會，可以創建真正依賴情境的機器可讀政策。歷史上，高層次情境規範與低層次系統權限之間存在語義鴻溝。例如，「在為會議安排行程時保護我的資料」需要具體說明在預訂航班、申請簽證以及與組織者溝通時，哪些使用者資訊適合分享。

傳統方法，如手動權限或專家編寫的政策，無法擴展到未來 AI 代理自主執行多個複雜、長期任務的場景。我們認為，隨著語言模型開始理解 CI，這個鴻溝可以被彌合。我們的報告提倡透過情境政策引擎來補充模型和使用者互動的進展，該引擎作為監督層的一部分，用於監控和執行行動的適當性。

這個政策引擎包含一個動態政策生成迴圈，可以即時運作（如下圖所示），以根據使用者請求和開放式、動態的情境（包括在執行時可能發現的新工具和功能）來調整政策。這使得系統能夠在任何資訊離開使用者工作區之前，評估所請求的資料流是否適當。

結合情境政策引擎以及模型和使用者層面的必要進展，形成了一種多層次的方法。我們的報告概述了整個堆疊中的創新機會：系統層級沙盒：執行環境可以施加額外的防護措施，以限制代理或模型故障的影響，並促進檢測和回應。傳統作業系統透過靜態限制存取（例如檔案或網路）來沙盒化應用程式。對於代理，我們探索動態限制代理能力、建立代理身份，並根據情境變化授權或撤銷資料存取。

模型層級推理：執行複雜任務的代理必須判斷其行動的適當性，例如分享使用者資料。未來的研究應使模型能夠消除未明確指定的使用者提示的歧義，並在不斷變化的情境規範下推理適當性。以使用者為中心的控制：傳統的「通知與選擇」框架假設個人可以對影響個人資料的行動做出細緻的決策，並依賴於可預見性的假設。

然而，自主代理的行為本質上是機率性的、高頻率的且生成式的。我們探索將介面轉向與使用者心智模型一致的動態、情境化和個人化控制機制。

多代理互動：為了讓 AI 代理能夠安全地協同合作處理複雜任務，我們需要開發有效的防護措施，以防止代理串通並違反情境規範。生態系統治理：我們探索治理機制中的挑戰，以達成一套在代理之間收集和共享的情境規範。此外，由於規範可能因領域和實體而異，我們需要允許我們解決衝突、協商規範變更和驗證合規性的機制。

最後，我們建議開發新的安全評估方法，這些方法更直接適用於高度自主的多代理系統。我們的報告強調需要標準化的多代理基準，即動態的「代理訓練場」環境，研究人員可以在其中安全地模擬長時間內複雜、連鎖的互動。透過這些開源沙盒，我們可以在學術界和業界建立一個穩健、共享的隱私、安全和安全基準。

這是一個雄心勃勃的計畫，但一個安全、可靠且值得信賴的代理生態系統對於任何單一學科、組織或部門來說都過於龐大。該報告呼籲新的想法和前所未有的合作，提出了基礎性的機會；它呼籲學術界、政府、公民社會和業界的廣泛研究社群採取行動，發展安全、可靠且尊重隱私的生態系統所需的情境基礎。我們邀請您閱讀這份技術報告。