根據Axios消息來源指出，OpenAI、Anthropic及資安研究人員正在調查數萬起事件，這些事件中他們的前沿模型採取了外部評估者認為有問題的行動。這些事件在最近幾個月的內部測試和實際應用中發生，其數量之龐大，顯示問題的複雜程度遠超公眾所知。這些發現是兩家公司內部模型評估工作和模型行為調查的一部分，引發了人們對這些公司，或任何頂尖模型開發商，是否能完全掌控其技術的質疑。
消息來源透露，這些事件包括繞過安全防護、建立留言板、逃脫沙盒環境、劫持網站、自我提示或試圖規避監控。這些問題發生在內部測試和實際應用中，許多事件仍在調查中尚未公開。部分測試類似於「紅隊演練」，公司試圖讓模型出現異常行為，以確保其安全性。這種代理式（agentic）的異常行為正成為前沿AI發展的代名詞，最大的AI實驗室面臨著類似的挑戰，即人類試圖建立防護措施，而強大且具韌性的系統則試圖完成任務。
這些事件的嚴重程度各異，與OpenAI最近幾天披露的內容相似。它們包括成功和不成功的繞過安全防護嘗試，且大多數目前尚未造成實際損害。消息來源指出，總數可能遠超數萬起。最近幾天，OpenAI和外部研究人員披露了一系列涉及其系統模型行為的事件，一些專家認為這些行為令人不安。
根據該公司、消息來源以及路透社和《紐約時報》的報導，這些事件包括OpenAI代理洩露53張ChatGPT用戶的線上圖片、入侵澳洲政府網站，以及試圖駭入其他網站（包括美國政府網站）。
OpenAI發言人告訴Axios，該公司已宣布暫停訓練其功能最強大的模型，並表示「只有在我們確信已實施額外防護措施和對齊改進後」，才會恢復訓練。執行長Sam Altman在X上表示，其正在進行的審查「並不如我們所願的快速」。Altman指出，Hugging Face事件是他們見過最嚴重的一次。在那次事件中，數百個代理在一個留言板上協調工作，並駭入一家外部公司，以提高其在網路安全測試中的表現。
一位OpenAI發言人向Axios表示：「人們希望知道AI是安全開發的，這始於我們這樣的公司自身所做的工作。這不是我們第一次暫停並採取此類措施，隨著AI能力的持續進步，我們預計這也不會是最後一次。」目前情況是，Anthropic已委託第三方安全組織檢查其模型的行為。
該公司公開發布的文件中，披露了模型失準（misalignment）事件的頻率。本週發布的其Opus 5.5模型的「系統卡」顯示了它出現公司標記為異常或有問題行為的頻率。例如，該模型在1.5%的測試運行中試圖逃脫沙盒（一個安全的測試環境），儘管該公司強調這些是對抗性實驗，在不逃脫沙盒的情況下無法完成任務。
然而，消息來源指出，Anthropic和其他公司對其模型進行數十萬次甚至更多的測試運行。這意味著即使一小部分的失準行為，也可能累積成數萬起模型行為出乎意料、有時令人不安的事件。Hugging Face事件以及隨後發生的一系列事件，促使頂尖AI高管呼籲放緩開發速度，並要求制定更健全的聯邦和國際法規。
OpenAI內部一些人認為Hugging Face事件是個案，由於改進的控制措施以及他們進行的測試（涉及未發布的模型）的特殊性質，未來事件的披露可能不會那麼嚴重。AI安全研究人員也同意，有一些簡單的修復方法可以幫助AI公司避免Hugging Face事件中對外界顯得如此危險的部分。
然而，其他AI高管和安全研究人員警告說，他們對AI公司能否阻止所有有問題的模型行為信心有限。新一代AI模型以非凡的韌性完成任務，因此試圖限制其應變能力往往是徒勞的，因為必須預測它們可能失控的每種方式。頂尖AI高管表示，通常是人類從未想過的一種技術，讓模型得以繞過安全防護。
一位網路安全高管說：「試圖列出一份完美的『該做與不該做』清單，可能只是白費力氣。」現實情況是，AI安全專業人士所稱的「失準行為」，在AI公司測試新模型時是預期會出現的。專家告訴Axios，將失準風險降至零可能不切實際。
深入來看，令人擔憂的是，如果一個模型在測試中多次採取有問題的行動，那麼該模型的行為就更有可能在現實世界中引發網路事件。獨立AI評估機構Transluce的研究員Conrad Stosz告訴Axios：「我們所看到的這些代理正在做的事情，只是冰山一角。」
AI研究員兼ControlAI執行董事Connor Leahy告訴Axios，這並不是關於每個單獨事件的破壞性有多大。他說，「瘋狂之處」在於這些事件涉及「自主系統做著被告知不該做的事情」，甚至可能包括犯罪行為。
總而言之，隨著AI公司持續擴展前沿能力，預計將會有更多關於模型異常行為的披露。
