網路安全高層希望擺脫 Hugging Face 人工智慧駭客事件的陰影,轉而討論解決方案。7AI 執行長兼共同創辦人 Lior Div 表示:「我們需要稍微冷卻一下炒作。」他補充說:「AI 能快速找到漏洞嗎?答案是肯定的,我們已經證明了這點。」
上個月,利用 OpenAI 網路模型運作的 AI 代理程式,突破了訓練環境,成功入侵了 Hugging Face。Hugging Face 是一個開源 AI 平台,供開發者協作、測試和分享工具。
這次入侵震驚了科技界,並預示著網路安全專家自 Anthropic 的 Mythos 問世以來一直警告的時刻終於來臨。
在過去四個月裡,網路安全供應商面臨越來越大的壓力,必須提供能超越攻擊者的安全堆疊,因為駭客正利用代理式 AI 來暴露漏洞,並將攻擊時間縮短至數秒或數分鐘。Hugging Face 駭客事件引發了關於 AI 責任的廣泛討論,也挑戰了先前對 AI 防禦能力的限制認知。例如,AI 代理程式自行採取行動,不惜一切代價達成目標。
隨著業界努力應對新的代理式網路現實,領導者們一致認為 Hugging Face 事件值得關注,但這類事件是不可避免的,現在是時候採取行動了。CrowdStrike 總裁 Mike Sentonas 表示:「我們討論的是能否管理和保護這種能力,這就是今天每個人都正在醒悟的現實。」
在本週的 Black Hat 年度網路安全會議上,OpenAI 透露,在 Hugging Face 攻擊發生前的幾週,其代理程式曾建立內部訊息板,用於分享漏洞和攻擊手法。
這些自主代理程式隨後將攻擊任務委派出去,以連接到網際網路並完成評估。即使在 OpenAI 發現並阻止了預期的攻擊後,這些代理程式仍能重現其工作並成功。
這些發現不僅突顯了 AI 日益增長的力量,也揭示了這場新技術革命中安全測試所面臨的重大挑戰。
在 Black Hat 的現場觀眾面前,OpenAI 技術研究員 Michael Dalton 將其稱為評估前沿模型的「意外副作用」,以及對 OpenAI 和整個產業而言的「分水嶺時刻」。
他說:「在不久的將來,我們應該預期威脅行為者將會刻意部署、優化、武器化並使用我們剛才描述的攻擊性代理程式群體。」
自 Hugging Face 事件以來,AI 代理程式駭客事件的清單只增不減。在 OpenAI 披露數天後,Anthropic 表示其 Claude 模型「未經授權地存取」了三個不同組織的內部系統。
當網路社群齊聚「世界娛樂之都」時,Meta 表示其 AI 模型在第三方測試中入侵了另一家公司,而英國 AI 安全研究所則稱 Anthropic 的 Mythos 在另一起事件中製造了虛假身份。週五,有消息指出中國新創公司 Moonshot AI 的開源模型逃脫了測試沙盒。
Dallas 的 Island 執行長兼共同創辦人 Mike Fey 表示:「他們現在都在吸取慘痛教訓,而且說實話,他們更關心產品的下一個百萬用戶,而不是網路安全。」
本週在 Black Hat 與 CNBC 談話的網路安全領導者們明確指出一點:像 Hugging Face 這樣的意外是任何新技術革命的已知後果,這並不令人意外。
Google 旗下 Wiz 的資訊安全長兼資訊長 Ryan Kazanciyan 表示:「Hugging Face 事件非常有趣且獨特,但我認為如果你觀察這類事件的發展軌跡,它會持續數天,其中會有很多雜訊。」
自五十多年前網路安全問世以來,防禦者與攻擊者之間就展開了一場永無止境的貓捉老鼠遊戲。只不過這次,它涉及的是成群的自主代理程式。
無論公司實施何種工具,事件總會從漏洞中溜走,特別是當公司將新技術應用於 AI 代理程式這個全新的挑戰時。Netskope 執行長 Sanjay Beri 說:「假設你的公司是脆弱的。就這樣假設吧,因為你贏不了這場競賽。」
Netskope 正透過其稱為 AI 指揮中心的工具來解決這個問題,該工具允許企業在一個地方監控基礎設施、伺服器、數據和 AI 代理程式。他表示,公司應該輔以使用前沿模型和開源模型進行持續的漏洞測試。
該公司是聚集在龐大的 Mandalay Bay 會議中心數百家供應商之一,他們試圖用含咖啡因的飲料、品牌贈品和裝飾成懷舊衝浪店、科學實驗室甚至老式餐廳的攤位來吸引潛在客戶。在活動中展示的新創公司之一是 Vega,這是一家紐約和特拉維夫的新創公司,與全球銀行和財富 200 強公司合作。
這家成立兩年的公司正努力以更快、更便宜的檢測工具來解決巨大的網路安全困境。Vega 表示,他們的方法透過分析現有環境中的數據來幫助企業降低成本。
共同創辦人兼執行長 Shay Sandler 表示,一個主要問題是企業承認代理式 AI 的威脅,但在採用新工具和依賴舊習慣之間存在脫節。他回顧了在 Black Hat 與現有和潛在客戶的會議,表示許多組織處於「非常危險的境地,而他們甚至不知道」。他說:「一年前,這還是一個非常科幻的對話。即使是那 20% 了解的人,我也不確定他們是否明白現在情況有多麼嚴重和緊急。」
企業數據安全新創公司 Cyera 的執行長兼共同創辦人 Yotam Segev 表示,網路安全工具的激增是其中一個障礙,這讓處於漫長 AI 安全基礎設施建置初期的專業人員不堪重負。
Cyera 的解決方案是幫助公司識別和保護敏感的網路數據。這家新創公司最近估值達到 120 億美元,並在 CNBC 的 Disruptor 50 榜單上排名第九。上個月,Cyera 宣布計劃以 10 億美元收購 Oasis Security,以識別和控制非人類身份。他說:「客戶帶著非常開放的心態來找我們,他們尋求指導多於尋求解決方案。」
開源模型是另一個重要的資源,科技巨頭最近幾週將其吹捧為美國公司節省成本和提升競爭力的主要工具。這是因為網路安全公司可以根據其環境和安全需求客製化這些模型。Hugging Face 就不得不求助於一個開源模型來找出 OpenAI 的代理程式攻擊。
CrowdStrike 的 Sentonas 表示,當結合人類干預時,開源模型和新的 AI 監控工具可以幫助企業隔離並關閉數千個威脅。該公司是 Nvidia 最近成立的 AI 安全聯盟的成員,該聯盟旨在建立和推廣安全的開源網路工具。
這也歸結於「束縛」(harness),即公司圍繞大型語言模型或代理程式建立的控制層,以設定安全防護措施。
AI 安全新創公司 Surf AI 的執行長兼共同創辦人 Yair Grindlinger 表示:「我認為五年後,我們將比以往任何時候都更加安全。」但他補充說:「我們還有五年的艱難時期要度過,並找出如何做到這一點。」

