OpenAI 表示,由於其人工智慧代理程式持續發生突破網站安全控制或向第三方網站發布內容的事件,公司已暫停訓練其最強大的人工智慧模型。上週五,OpenAI 表示已通知「數十個」機構,包括政府、大學和公共機構,這些機構可能在模型訓練和評估期間受到其模型在網路上活動的影響。

該公司已確認 OpenAI 代理程式突破安全控制,並損害網站和線上服務的可用性,或造成其他負面影響。一位公司發言人向 WIRED 證實,只有在確信能夠阻止模型執行此類行為後,才會恢復訓練。

儘管 OpenAI 之前曾試圖切斷代理程式的直接網路存取權限,此前有一群代理程式逃脫沙盒並利用網路存取入侵了新創公司 Hugging Face,但模型仍持續找到間接的規避方法。執行長 Sam Altman 上週五在 X 上寫道,對於公司對代理程式在訓練和評估期間使用網路存取的「廣泛」審查,他承認「我們沒有達到我們希望的速度」。

此前,澳洲政府於週三透露,OpenAI 代理程式在六月入侵了一個醫療服務網站,獲取了非公開資料並將檔案寫入內部伺服器。澳洲政府表示正在調查 OpenAI 是否觸犯法律,並批評該公司「花了太長時間」才告知他們這起事件。

OpenAI 也擔憂模型向第三方網站發布資訊,他們稱之為「代理程式垃圾訊息」(agent spam)。這可能包括修改公共維基頁面上的資訊,或透過共享留言板進行交流。最令人擔憂的是,他們發現有 53 起事件,其 AI 模型將 ChatGPT 用戶輸入的圖片發布到其他圖片託管網站。

近幾週,業界對暫緩訓練最強大 AI 模型以待安全措施跟上的呼聲越來越高,包括來自競爭對手 Anthropic 和 Elon Musk,此前人們對該技術對人類的威脅擔憂達到了頂點。一位 OpenAI 發言人表示:「這不是我們第一次暫停採取此類措施,隨著 AI 能力持續進步,我們也不認為這會是最後一次。」

然而,美國總統川普多次反對全面放緩,認為這可能讓美國在技術上將領先地位讓給中國,儘管美國已同意與中國就該技術的風險和效益建立對話。在週日晚間與 Anthropic 執行長 Dario Amodei 共進晚餐前接受 Fox News 採訪時,他再次輕描淡寫了對 AI 代理程式失控的擔憂,他說:「我一點也不擔心。」