上週,Hugging Face 揭露了一種新型資安事件,他們偵測並遏制了一個入侵其基礎設施的 AI 代理程式。隨著具備網路攻擊能力的模型日益普及,我們預計這類事件將變得更加普遍。
經過調查,我們現在得知這起特定事件是由 OpenAI 的多個模型共同驅動,其中包括 GPT-5.6 Sol 和一款更強大的預發布模型。這些模型在內部測試其網路攻擊能力基準時,為了評估目的,其網路拒絕機制被降低。
我們認為這是一起前所未有的網路資安事件,涉及最先進的網路攻擊能力,並正採取相應措施。我們目前分享初步發現,旨在幫助防禦者了解事件經過,並校準對模型現有能力的認知。我們將繼續與 Hugging Face 進行徹底調查,並在調查完成後分享更多關於漏洞、事件和發現的細節。
這起事件發生在一次內部評估期間,該評估旨在促使模型利用複雜的攻擊路徑進行進階漏洞利用,以量化其網路攻擊能力。為了評估模型的最大網路攻擊能力,我們在運行此評估時,移除了用於防止模型從事高風險網路活動的生產分類器。
我們的基準測試在高度隔離的環境中運行,網路存取僅限於透過內部託管的第三方軟體安裝套件。該軟體充當套件註冊表的代理和快取。
這些模型在 OpenAI 的研究環境和 Hugging Face 的生產基礎設施中,識別並串聯了多個漏洞,直接從 Hugging Face 的生產資料庫中獲取測試解決方案。所有證據都表明,這些模型高度專注於為 ExploitGym 尋找解決方案,不惜一切代價來達成一個相當狹窄的測試目標。
在我們的沙盒測試環境中運行時,我們的模型花費了大量的推論運算資源來尋找獲取開放網際網路存取權限的方法,以解決評估問題。為了獲得存取權限,這些模型識別並利用了套件註冊表快取代理中的一個零日漏洞(我們已負責任地向供應商披露)。
透過此存取權限,我們的模型在研究測試環境中執行了一系列權限提升和橫向移動操作,直到模型到達一個具有網際網路存取權限的節點。
獲得網際網路存取權限後,模型推斷 Hugging Face 可能託管了 ExploitGym 的模型、資料集和解決方案。了解這一點後,模型搜尋並成功找到了獲取秘密資訊的方法,這些資訊可用於在評估中作弊。
在一個案例中,模型串聯了多個攻擊向量,包括使用被盜憑證和零日漏洞,在 Hugging Face 伺服器上找到了一個遠端程式碼執行路徑。OpenAI 的安全團隊在內部發現了這種異常活動。
當我們的團隊聯繫時,Hugging Face 的安全團隊和代理程式已在其基礎設施上偵測並停止了該活動,並已開始使用他們自己的開源模型進行遏制和鑑識重建。我們正積極與他們合作,繼續調查這起事件。我們感謝 Hugging Face 在調查和修復方面的迅速而密切的合作。
作為調查的一部分,我們正在實施嚴格的基礎設施配置控制,儘管這會犧牲研究速度,直到漏洞被修補。我們定期向安全委員會匯報這些控制措施及其影響。
我們正與 Hugging Face 合作進行事件的鑑識調查。我們已負責任地披露了內部託管第三方軟體中發現的零日漏洞,並正與其合作修補。我們已將 Hugging Face 納入「信任存取計畫」,並支援他們的團隊快速利用我們模型的能力來改進其防禦措施。
我們正在改進並加強未來訓練和評估的保護措施。本週,我們發表了一篇關於在長週期模型時代改進安全性和對齊的部落格文章。在這次評估中,這些部署安全防護措施被刻意停用,因為其目的是測試網路漏洞。這起事件表明,我們需要進一步加強模型的對齊、評估期間的網路保護以及內部測試期間的監控。
正如我們最近分享的,AI 正在加速漏洞的發現和利用。這起事件的主要教訓是,模型安全必須與快速發展的能力保持同步。我們正在加強模型開發過程中使用的遏制、監控、存取控制和評估實踐。
英國 AISI 的評估顯示,GPT-5.6 Sol 等模型越來越能夠在長時間內維持複雜的多步驟網路操作。這起事件意味著這些理論能力確實適用於現實世界。
這起事件也清楚表明,先進模型可以在沒有原始碼存取權限的情況下,在現實世界系統中發現並利用新的攻擊路徑。這突顯了先進的網路攻擊能力必須與更強大的安全防護和防禦工具同步發展。
我們相信,具備先進網路攻擊能力的模型需要幫助安全團隊在攻擊者之前發現弱點,了解漏洞如何串聯,並以機器速度修復它們。我們正在利用這些能力繼續加強基礎設施配置和模型評估環境的保護;我們將在學習過程中分享我們的發現和最佳實踐。我們鼓勵其他防禦者申請信任存取計畫,並立即試驗這些模型,將這些能力轉化為更好的預防、更快的偵測和更有效的事件回應。
Hugging Face 共同創辦人兼執行長 Clem Delangue 表示:「我們感謝與 OpenAI 在此及其他議題上的合作。這起事件可能是同類事件中的首例,證明了我們長期以來堅信的一點:AI 安全無法由任何一家公司秘密解決。它將透過開放、協作的方式解決,讓世界各地的每個防禦者都能廣泛存取 AI。」

