開源軟體是全球經濟的關鍵支柱。它透過讓專家社群更容易取得和觀察技術,支撐著雲端運算、金融服務、製造業、電信、政府和網路服務。
網路安全是開源軟體的三大受益者之一。「開放安全 AI 聯盟」將在 Linux 基金會 Akrites 計畫和 OpenSSF 社群工作的基礎上,利用開放技術來修復和揭露漏洞。
正如開源軟體為軟體奠定了共享基礎,美國及其合作夥伴現在在 AI 安全方面面臨一個選擇:保護我們基礎設施的防禦機制,是要存在於少數不透明的系統中,還是建立在任何防禦者都能研究、調整和部署的開放模型、框架和工具之上。
世界需要封閉和開放模型並存。對於網路安全而言,開放模型和開放框架至關重要,因為它們能普及防禦能力、增加防禦者的透明度、在保護資料的同時實現網路防禦,並透過可客製化、在地化的控制來補充前沿的封閉模型。開源技術實現了大規模分散式、社群驅動且自我控制的防禦,沒有單一故障點。
開放模型,如同任何強大技術,可能被濫用,包括試圖削弱安全防護或將其能力轉用於網路攻擊。然而,這些風險並非開放系統獨有,無論先進 AI 部署在哪裡,都必須加以管理。
最近 Hugging Face 的安全事件明確提醒我們:網路防禦者需要開放、前沿的代理系統來進行自我防禦。當封閉的 AI 工具無法區分攻擊者和防禦者,並阻擋了必要的鑑識分析時,Hugging Face 在其自身基礎設施上運行了開放權重的 GLM 5.2 模型,分析了超過 17,000 項操作並遏制了入侵。
該事件揭示了一個實用真理:當防禦者無法在其自身基礎設施上檢查、調整和運行先進 AI 時,他們的回應能力就會在速度最關鍵的時刻受到限制。公司和國家需要開放的前沿防禦工具和技術,以便關鍵產業能夠在多供應商生態系統中建立安全系統,並避免單一故障點。
這就是「開放安全 AI 聯盟」的使命:確保各地的防禦者都能擁有他們信任和控制的開放前沿工具。
來自雲端運算、網路安全、企業軟體、開源基金會和 AI 研究領域的領導者,包括 NVIDIA、Adobe、Cadence、Capital One、Cisco、Cloudera、Cloudflare、Cognition、CrowdStrike、Databricks、Dell Technologies、DoorDash、Elastic、HPE、Hugging Face、IBM、LangChain、Linux 基金會、Microsoft、NAVER、NetApp、Nous Research、OpenClaw、Palantir、Palo Alto Networks、Red Hat、Reflection AI、Salesforce、SAP、SK Telecom、ServiceNow、Siemens、Snowflake、SpacexAI、Synopsys、Thinking Machines Lab 和 TrendAI,都是「開放安全 AI 聯盟」的首批合作夥伴。
這項運動旨在開發和分享開放技術、方法和工具,以在 AI 時代保護軟體和代理程式。
有些人認為開放模型本質上較不安全,因為它們可能被濫用於網路攻擊或修改以移除安全護欄。這些風險確實存在,但它們在封閉系統中並不會消失,單純保持權重封閉也無法阻止有決心的攻擊者尋找或利用強大的 AI。
正確的回應不是拒絕防禦者使用有能力的開放系統。而是將開放性與強大的安全防護、明確的惡意濫用規則、嚴格的評估和快速的修復結合起來。在網路安全領域,更安全的道路是讓更多防禦者有能力測試、驗證和強化社會所依賴的系統。
防禦者需要前沿的封閉模型和前沿的開放模型協同工作,以便他們可以為任務選擇正確的系統,並確保在安全要求透明度、適應性和主權控制的任何地方都能實現這些目標。
開放研究提升網路安全與 AI 安全。
AI 代理程式不僅僅是一個語言模型,它是一個由模型、框架和安全護欄組成的複雜系統。
真正的 AI 安全取決於完整的代理程式堆疊,包括身份、權限、框架、安全護欄、日誌和評估,而不僅僅是模型權重是開放還是封閉。開放框架和工具使這些控制更容易讓許多防禦者檢查、測試和改進。
NVIDIA 正在向「開放安全 AI 聯盟」貢獻開放模型、模型權重、資料和新的代理程式框架研究,以加速新網路安全工具和技術的開發。
新的開源 NVIDIA Labs 物件導向代理程式(NOOA)專案現已在 GitHub 上提供,旨在讓代理程式框架更容易取得先進的 AI 安全功能。NOOA 研究框架使框架能夠更好地與模型整合,使代理程式行為更容易測試、追蹤、稽核和治理。
在整個聯盟中,貢獻者正在為代理程式建立一個開放的防禦堆疊,從身份和隔離到安全的模型格式、多模型掃描和安全編碼工作流程。
HPE 貢獻於 SPIFFE/SPIRE,它創建了零信任身份框架標準和方法,可以加密驗證 AI 代理程式和服務,以確保只有授權的工作負載才能通訊和存取企業資源。
Hugging Face 已向 PyTorch 基金會提供了 Safetensors,這是一種儲存 AI 模型權重的安全格式,提供透明度並保證沒有遠端程式碼執行。
IBM 和 Red Hat 的 Lightwell 透過數位簽章補丁,將安全性擴展到整個開源供應鏈。
Microsoft 的 MDASH 多模型代理掃描框架協調專門的 AI 代理程式,以發現、討論和證明可利用的錯誤。
SpaceXAI 已開源 Grok Build 終端機型 AI 編碼代理程式,以促進信任、透明度和新功能,並計劃開源 Grok 系列模型的權重,以支持開發者和研究社群。
呼籲政策制定者和監管機構。
當政策制定者和監管機構努力解決 AI 安全問題時,將開放模型、框架和安全工具視為 AI 和網路安全政策中的防禦資產而非負債,將至關重要。對開放前沿 AI 系統的全面限制將削弱防禦能力,並可能將權力、依賴性和脆弱性集中在少數封閉供應商手中。
公司和政府應投資於 AI 防禦的共享開放基礎設施,例如資料集、評估框架、攻擊模擬器和紅隊工具,就像前幾代人投資於開源軟體一樣。
我們應該建立的未來。
AI 代理程式時代可以是一個充滿韌性和共享安全的時代。透過正確的選擇,開放安全的 AI 系統可以為防禦者提供所需的工具,強化競爭,擴展技術領先地位,並確保這項非凡技術的安全性和保障是為所有人公開建立的。
那個未來不會僅僅透過假設保密就是安全來確保。它將透過建立足夠強大以承受審查、足夠靈活以進行改進,以及足夠開放以動員整個防禦者社群的系統來確保。
這個未來值得我們共同建立,「開放安全 AI 聯盟」邀請各國政府、產業和研究人員加入,共同捍衛 AI 時代。
了解更多或表達加入「開放安全 AI 聯盟」的意願。

