一項於週二擴大的集體訴訟揭露了據稱由 Grok 生成兒童性虐待影像(CSAM)最駭人聽聞的案例之一。現在,年輕女孩們不僅指控 X 和 xAI 打造了具毒性的 AI「裸體化」工具,還透過阻礙警方對 Grok 生成的 CSAM 進行調查,來包庇兒童性侵犯。

修訂後的訴狀指出,今年三月,一名女孩的繼父在警方發現他曾使用 Grok,利用一張繼女 11 歲時的照片製作了 7,000 張性暗示影像後,結束了自己的生命。訴狀稱,Grok 允許該男子生成描繪亂倫和強姦的極端影像,卻未標記任何有害行為。

據稱,xAI 的兒童安全系統僅在該男子輸入「輪姦」提示詞後才介入。該請求向美國國家失蹤及受剝削兒童中心(NCMEC)發送了網路舉報,隨後 NCMEC 提醒執法部門注意這些 AI 生成的 CSAM。然而,傷害並未就此停止。

訴狀指控,儘管有強制性報告要求,在標記 CSAM 時需分享用戶 IP 位址等資訊,但 xAI 卻一再拒絕協助警方或 NCMEC 識別該用戶。數週以來,xAI 據稱「處處阻撓這項調查」,並使「執法部門定位、識別和逮捕犯罪者」的努力變得更加困難。

最終,在警方取得搜查令扣押其設備後,該繼父被捕。當時,「法醫審查發現了大約 7,000 張 AI 生成的影像和影片」,描繪了他的繼女,據稱這些影像都是使用 Grok 製作的。他的家人懷疑,如果 Grok 沒有為用戶提供輕鬆的「脫衣」功能,他可能永遠不會生成這些有害影像,而他據稱還將這些影像在線上販售,以換取「其他兒童性侵犯製作的 CSAM」。

訴狀稱,該男子獲保釋兩天後便開槍自殺,讓訴狀中被稱為「匿名原告四號」的年輕女孩陷入「極度個人危機」。她現在飽受焦慮和抑鬱之苦,並「與自殺念頭搏鬥」。

訴訟稱:「一夜之間,匿名原告四號的整個現實被兒童性剝削和自殺的雙重悲劇徹底摧毀。她的家庭支離破碎,她的生活變成了一場惡夢。」

xAI 據稱包庇犯罪者。在新聞稿中,女孩們的法律團隊 Lieff Cabraser Heimann & Bernstein 和 Baehr-Jones Law 表示,匿名原告四號的案件並非孤例。他們指出,NCMEC 在 2026 年初發現,xAI 的網路舉報中有 90%「因 xAI 拒絕提供允許執法部門追蹤和定位犯罪者的用戶資訊,而無法採取行動」。律師們解釋道:

「匿名原告四號的案件顯示了這種模式如何上演:xAI 向 NCMEC 提交的強制性報告僅包含原始的非 CSAM 照片,遺漏了所有 AI 生成的 CSAM 影像,且未包含這些影像的 IP 位址。儘管調查人員一再要求提供對於識別和逮捕犯罪者至關重要的位置資訊,xAI 卻未予回應,阻礙了調查數週。」

據稱,xAI 為了利潤而犧牲兒童安全,避免分享這些資訊。在新聞稿中,匿名原告四號指控 X 在 Grok 將「我小時候穿著大熊貓睡衣睡在沙發上的照片」變成「數千張我的性暗示影像,這些影像駭人聽聞到我無法形容」後,便「保持沉默」。

匿名原告四號說:「他們擁有所需的一切,可以幫助執法部門阻止肇事者並伸張正義。相反地,他們保持沉默,讓這個人利用 Grok 偷走了我的童年。這項技術是免費、易於取得的武器,落入了世界上最壞的人手中。最危險的是,沒有辦法阻止犯罪者拍攝任何照片,不僅是網路上的照片,而是任何兒童的照片,並利用這項技術創造出你最可怕夢魘中的影像。沒有人是安全的,無論是成人、兒童,還是任何人。」

另一位在週二出面指控的女孩,匿名原告五號,也成為一位熟人,一名成年家庭朋友的目標,該朋友同樣在線上販售據稱由 Grok 生成的影像。訴狀稱,該女孩僅在警方逮捕肇事者並指控他「大量持有和散佈 CSAM 內容」(僅限於非 AI 生成的 CSAM)後才得知此事。

她的母親將匿名原告五號的受虐歸咎於 xAI,稱由於 Grok,「我的女兒充滿焦慮,對誰看過這些影像感到完全失控。沒有孩子應該經歷這些。」xAI 創辦人 Elon Musk 否認 Grok 曾被用於生成兒童性影像。

然而,研究人員估計,Grok 寬鬆的防護措施,允許用戶提出「辛辣」請求來「脫衣」影像,已在沒有有效干預的情況下,傷害了數萬名兒童。到目前為止,xAI 唯一的行動是為該功能收費,訴狀指控這只確保了 xAI 從所有 Grok 生成的 CSAM 中獲利。X 和 xAI 未回應 Ars 的置評請求。

Stability AI 被捲入 xAI 訴訟。除了在訴狀中增加更多受害者外,律師們還將 Stability AI 列為被告。根據修訂後的訴狀,Stability AI 的開源模型是在 CSAM 上訓練的,據稱「作為第三方『裸體化』應用程式的基礎」,而 Grok 用戶據稱依賴這些應用程式來進一步修改 Grok 的明確輸出內容。

與 X 和 xAI 一樣,Stability AI 被指控故意放鬆安全措施,透過允許生成不適合工作場所的內容(NSFW)來搶佔市場。訴訟指控「根據資訊和信念」,Stability AI 的模型使用量因用戶抱怨模型過於保守而下降後,先前阻止 NSFW 輸出的安全措施被移除。

訴訟最初提交後,警方似乎發現兩名針對未成年原告的犯罪者手機上安裝了依賴「Stability AI 影像生成工具」的應用程式。因此,訴狀被修訂,指控一些犯罪者可能使用了 Grok 或與 Stability AI 相關的工具,或兩者皆有。

由於許多「裸體化」應用程式都依賴 Stability AI 的模型,訴訟指控「如果沒有 Stability 的模型,衍生應用程式將不會以目前的形式存在,也不會擁有能夠創建 CSAM 的影像和影片生成能力」。為支持其主張,修訂後的訴狀引用了六月份的一份報告,該報告指出「Stable Diffusion 系列是線上影像裸體化的主要驅動力」,佔此類影像的 42.7%。

週三晚些時候,Stability AI 的發言人回應了 Ars 的置評請求,強調「Stability AI 致力於防止 AI 技術的濫用,特別是在創建和傳播有害內容方面,包括 CSAM,這在我們的可接受使用政策中明確禁止」。

發言人引用了 Stability AI 在兒童安全方面的工作,包括「定期」與執法部門以及兒童安全組織(包括 Thorn)和打擊兒童性剝削的全球科技公司聯盟 Tech Coalition 合作。Stability AI 的發言人說:「任何暗示安全不是我們首要任務的說法都是絕對錯誤的。

我們認真對待我們的道德責任,自 2022 年底接管 Stable Diffusion 系列模型(Stable Diffusion 2 及更高版本)的獨家開發以來,我們已實施強大的安全措施,以提高我們的安全標準,保護我們的產品免受濫用。」

數千名受害者可能加入訴訟。由於 Stability AI 已被列為被告,該訴訟現在尋求涵蓋兩個類別,每個科技公司一個類別,以及每個類別的田納西州子類別。xAI 類別涵蓋所有「其未成年時的真實影像」被 Grok 修改「以生成帶有其面部和/或其他可合理識別特徵的性暗示行為或內容的影像或影片」的美國人。

而 Stability AI 類別則包括使用「基於 Stability AI 模型構建的應用程式」而受到類似傷害的美國人。

律師們估計,數千名未成年人可能有資格加入這些類別,並將繼續尋找受 AI CSAM 傷害的受害者。NCMEC 未回應 Ars 的置評請求。然而,該組織已呼籲平台、立法者、兒童安全組織和執法部門共同努力,解決「日益增長的協調行動緊迫性」。

今年三月,NCMEC 警告稱,2025 年「與生成式 AI(GAI)相關的報告」將「急劇增加」。根據 NCMEC 的數據,去年共提交了超過 150 萬份網路舉報,「表明與 GAI 和兒童性剝削有關」。令人不安的是,在超過 133,000 個案例中,NCMEC「缺乏足夠的資訊來確定該技術是如何被使用的」。

該報告並未點名 X 或 xAI,但確實暗示 AI 公司普遍會避免分享執法部門可用於逮捕的 AI CSAM 資訊。例如,NCMEC 指出 Amazon AI 服務提交了絕大多數舉報(110 萬份),但這些舉報都沒有提供執法部門可用於識別犯罪者的「可操作資訊」。

隨著對 AI 公司對兒童造成傷害的審查加劇,倡導者希望公司能微調模型以阻止所有裸體內容。起訴 X 的女孩們聲稱這是唯一的補救措施,「因為如果模型允許任何性或虐待內容,就不可能阻止該模型創建涉及未成年人的此類內容」。

在新聞稿中,代表未成年人的律師之一 Annika K. Martin 抨擊 xAI 和 Stability AI 據稱明知故犯地構建了「能夠生成深度偽造 CSAM」的模型,卻「完全無視他們知道將隨之而來的毀滅」。Martin 說:「AI 生成的 CSAM 是社會的禍害,影響著每個社區和每個族群。

傷害的規模令人震驚,那些產品促成此類行為的公司必須被追究責任。」本報導於 7 月 8 日更新,以包含 Stability AI 的評論。