七月，OpenAI 揭露其 AI 代理程式未經許可攻擊了 Hugging Face，引發了對 AI 安全的廣泛擔憂。此後，Meta、Anthropic、Google 等公司的代理程式也陸續發生類似事件，進一步加劇了人們對「流氓 AI」的恐懼。

過去幾個月，隨著涉及多個 AI 模型的問題陸續浮出水面，這些事件看似獨立。然而，許多事件都指向同一個源頭：一家專門負責測試這些 AI 代理程式的公司。

Irregular 是一家以色列新創公司，專門在「模擬和監控真實世界 AI 安全情境的高擬真研究平台」中對 AI 模型進行壓力測試。該公司自 2023 年以 Pattern Labs 的名義成立以來，已與業界許多大廠合作。

儘管其確切的客戶名單不詳，但其工作曾被 OpenAI 的模型系統卡引用，也曾用於測試英國政府和 Anthropic 的系統，並與對 AI 政策有深遠影響的智庫 RAND 共同發表研究。

今年 Irregular 進行的幾次測試中，AI 代理程式逃脫了其聲稱安全的測試環境，並攻擊了真實世界的目標。這些漏洞事件與 Hugging Face 攻擊無關，但都遵循相同的模式。

Irregular 在受控環境中測試模型的網路安全能力，這些環境旨在模擬真實條件。部分測試採用了「奪旗賽」（capture-the-flag）練習，這是一種常見的駭客能力測試方式，要求代理程式在模擬網路中尋找隱藏資訊。至少，這個網路本應是模擬的。

Irregular 的技術長兼共同創辦人 Omer Nevo 告訴 The Verge，這些代理程式原本不應該存取開放網路，但「網路存取卻意外地可用」。同時，Nevo 表示，為模擬目標而創建的一個虛構公司名稱「與真實網域重疊」。

這些錯誤綜合起來，導致代理程式攻擊了真實世界的目標，儘管目前尚不清楚哪些公司或組織實際受到了攻擊。

Nevo 向 The Verge 證實，這個相同問題是導致 OpenAI、Meta、Anthropic 和 Google 模型相關事件的幕後原因。他表示：「所有涉及 Irregular 的事件都源於單一評估情境中的相同潛在問題，並且都已揭露。」

他補充說：「近期業界報導的其他安全事件與 Irregular 或我們的評估無關。」這包括 Hugging Face 攻擊事件以及英國 AI 安全研究所的漏洞。

然而，「揭露」不一定代表公開，目前尚不清楚 Nevo 是指通知 Irregular 的客戶、公眾還是其他人。儘管所有事件都源於相同的潛在測試失敗，但 Anthropic 和 OpenAI 的報告以及關於 Google 的報導顯示，這些科技公司大約在七月下旬的相似時間點接獲通知。

OpenAI 和 Anthropic 親自宣布了這些漏洞，而涉及 Meta 以及數週後 Google 的事件則是透過媒體報導才首次公開。

Irregular 的網路安全測試範圍不僅限於這四家美國科技巨頭。其網站上發布的研究顯示，該公司也對中國公司 Moonshot AI 和 Z.ai 的開源 AI 模型 Kimi K3 和 GLM-5.2 進行了類似的網路安全測試。

與其他事件中涉及的專有模型不同（例如 Meta 將其旗艦 Spark 模型保持專有），這些模型可以自由下載並在使用者自己的硬體上運行。這意味著像 Irregular 這樣的測試人員無需依賴這些公司來獲取存取權限或將數據傳回給它們。Irregular 的研究將其描述為「自行託管」的實例。

Nevo 表示，對中國模型的評估並未導致類似的真實世界事件。他說：「在我們對 GLM 或 Kimi 的評估中，並未觀察到此處提及事件中描述的相同類型問題。」

然而，Nevo 警告說，單憑此「觀察結果不應被解讀為這些模型較不容易受到此類行為影響的證據」。Moonshot 和 Z.ai 都沒有回應 The Verge 的置評請求。

Nevo 表示，這些事件促使 Irregular 進行了改變。他說：「我們已經收緊了網路存取控制，擴大了監控和人工審查，並在評估開始前加強檢查，以驗證存取權限是否符合預期範圍。」

他補充道：「我們也改進了與合作夥伴記錄和商定每次評估設定和參數的方式。」

Nevo 表示，Irregular 還計劃在與相關公司完成合作後，發布一份更廣泛的報告，內容涵蓋「網路安全評估的經驗教訓和安全實踐」。

他說：「我們與合作夥伴的合作旨在將這些事件的教訓轉化為公開共享的實踐，以安全地開發和評估日益強大的 AI。」

Nevo 表示，Irregular 已解決了與這些事件相關的測試環境問題。然而，這四家美國 AI 公司都沒有回答關於更多細節的問題，包括他們何時得知這些漏洞、是否向 Irregular 尋求損害賠償或其他補救措施，以及是否預計繼續與 Irregular 合作。

Google 和 Anthropic 沒有回應，而 OpenAI 和 Meta 則將 The Verge 轉向他們先前發布的部落格文章。