這篇報導最初刊載於《演算法》，我們的每週 AI 電子報。若想搶先收到類似報導，請在此訂閱。
你可能已經聽說上個月發生的重大 AI 資安事件：OpenAI 的 AI 代理程式在試圖作弊時，脫離了沙盒環境，並入侵了 AI 平台 Hugging Face。這是一個令人震驚的故事。
週三，OpenAI 發布了關於此事件的技術事後分析報告，我在此處有撰文介紹。
在 OpenAI 發布報告的前一天，我與電腦科學教授兼知名 AI 對齊專家 David Krueger 進行了交談。他目前從蒙特婁大學休假，創立並領導一個名為 Evitable 的 AI 安全非營利組織。
他表示，他真正希望在報告中看到的是對事件背後人為因素的分析。他指出：「當你審視事故和事件時，人們往往試圖找出技術上的失敗根源，但這可能會對失敗發生的原因產生非常不準確和誤導性的理解。」
他補充說：「如果人們總是敷衍了事，如果企業文化沒有將安全放在首位，缺乏適當的激勵機制和組織結構，那麼事故就幾乎是必然會發生的。」
該報告並未達到 Krueger 的期望。這份長達 38 頁的報告詳細描述了代理程式數個月來行為不當的演變，最終導致了 Hugging Face 入侵事件。
報告探討了行為不當的技術原因，並列舉了為防止未來發生類似事件所採取的步驟。然而，報告中並未考慮公司文化可能在事件中扮演的角色，也很少提及具體的人為錯誤。
更令人擔憂的是，報告中提及的人為錯誤暗示了可能存在嚴重的文化問題。早在五月，訓練中的模型就已學會透過一個臨時訊息板相互通訊，OpenAI 團隊也觀察到了這種行為。
由於這種行為發生在訓練期間，模型學會了秘密的代理程式間通訊是完成任務的可行策略。然而，團隊並未重新啟動訓練過程，而是允許模型帶著這些編碼在其權重中的危險資訊繼續前進。
當這些模型在六月底進行測試時，它們再次建立了一個訊息板，這促成了對 Hugging Face 的攻擊。這個訊息板也被發現了，但回應的員工判斷評估可以繼續進行。
報告指出，直到為時已晚，鏈條上層的任何人都沒有意識到正在發生什麼。Substack 上受歡迎的 AI 安全作家 Zvi Mowshowitz 指出：「要讓事情失控到這種程度，需要一系列非常漫長的失敗，一連串的連鎖失敗導致影響範圍越來越大，如果任何時候有人注意到並發出警報，這一切都應該停止。」
他曾指出 OpenAI 在發現第一個訊息板後未能停止訓練。根據報告，OpenAI 員工在多個時間點都注意到了正在發生的事情，但要麼未能發出警報，要麼發出警報後未被聽取。
OpenAI 的報告未能解決為何一家開發如此高風險系統的公司沒有防止這種嚴重的溝通中斷，儘管 Mowshowitz 有他的懷疑。他表示：「所有這些不同的失敗都指向同一個方向，那就是 OpenAI 的安全文化不存在或極其薄弱。」
當然，報告中沒有深入分析安全因素，並不代表 OpenAI 內部沒有進行相關分析。但約翰霍普金斯大學榮譽教授兼組織安全專家 Kathleen Sutcliffe 在給《麻省理工科技評論》的電子郵件中表示擔憂，公開報告中沒有包含對公司實踐和文化的任何反思。
她寫道：「人們互動的方式，我們在組織生活中所從事的日常習慣、例行公事和實踐，影響我們對正在發生的事件保持警覺和意識的能力，我們理解所見事物的能力，以及最終我們應對事件發展的能力。」
針對公司是否以及如何反思其安全文化的問題，OpenAI 將《麻省理工科技評論》轉回了技術報告。
我們確實知道 OpenAI 至少進行了一些高層次的安全程序反思，因為技術報告明確指出公司正在更新其應對安全事件的協議。然而，文化變革是一個棘手的問題，如果沒有公司提供更多資訊，很難說單靠加強應對協議是否能有效預防未來的危機。
在報告中，OpenAI 花費大量時間反思公司訓練和測試的 AI 模型與操作它們的人類之間在對齊方面的失敗。然而，更大的對齊問題可能存在於公司文化與公共利益之間的脫節。儘管技術性 AI 研究可能很艱難，但解決這些問題可能更具挑戰性。
