惡意行為者現正濫用生成式 AI 進行網路攻擊：利用 AI 生成的深度偽造詐騙受害者、部署藉由 AI 程式碼工具開發的惡意軟體、使用聊天機器人進行網路釣魚活動，以及利用 AI 代理程式駭入廣泛使用的開源程式碼儲存庫。這些由 AI 驅動的威脅正在日益增加。
四月初，Anthropic 的 Frontier 紅隊（負責評估該公司 AI 模型潛在的安全與資安風險）宣布，其 Claude Mythos 預覽版模型已發現數千個高風險與嚴重程度的漏洞。這些漏洞甚至涵蓋「每個主流作業系統和每個主流網頁瀏覽器」，儘管該模型並未為此目的進行明確訓練。
這些發現促使 Anthropic 成立 Project Glasswing，旨在協助阻止 AI 輔助的網路攻擊。其啟動合作夥伴包括 Amazon 等科技巨頭。
