面臨越來越多關於 Grok 仍可被用於生成未經同意的成人及未成年人性化影像的壓力，xAI 週二提起訴訟。這是 Elon Musk 的公司首次起訴一名用戶，指控其利用 Grok 聊天機器人製作非法內容。

訴訟對象是 Terry Wayne Harwood，南卡羅來納州檢察官辦公室宣布，他已於今年稍早因持有及散佈兒童性虐待材料（CSAM）而被捕。

xAI 指控，該公司在發現 Harwood 數月來一直使用兩個 xAI 帳戶，將多名受害者（包括一名看似年僅 10 歲的女孩）的非性影像「裸化」後，協助了這次逮捕行動。

xAI 提起訴訟的前一週多，另一名年輕女孩加入了一項擬議的集體訴訟，代表多名據稱受 Grok 傷害的兒童。她聲稱，她的繼父在使用 Grok（可能結合其他 AI 工具）製作了 7,000 張她的性化影像並在暗網上散佈後，被發現並自殺。

在該案中，受害者指控 xAI 拒絕協助警方識別將她的影像上傳至 Grok 的用戶。為支持 xAI 這種做法是慣例的說法，她的律師引用了 2026 年國家失蹤與受剝削兒童中心（NCMEC）的一份報告，該報告證實 xAI 90% 的 CyberTipline 報告「因 xAI 拒絕提供允許執法部門追蹤和定位犯罪者的用戶資訊而無法採取行動」。

儘管受害者指責 X 平台包庇掠奪者，Musk 先前仍堅稱他未曾見過任何 Grok 生成 CSAM 的案例。Musk 並未採取行動限制 Grok 的輸出以使其無法生成 CSAM，反而於 1 月 3 日在 X 平台上警告用戶應負責任行事，表示「任何使用 Grok 製作非法內容的人，將會遭受如同上傳非法內容一樣的後果。」

然而，當 Musk 發布這些訊息時，Harwood 據稱卻無視警告，多次向 Grok 發出提示詞，直到聊天機器人生成了可能未經同意的露骨影像。

現在 Musk 似乎無法否認 Grok 會生成 CSAM。xAI 的訴訟聲稱，Harwood 在 12 月 8 日至 2 月 18 日期間，使用了至少兩個名稱複雜的帳戶，「ceae2cb4-a9f6-4885-8ae9-6e2096d084f4」和「befccb94-4029-454d-9f1f-0d4945e8fa7c」，來生成非法內容。

有時 Grok 的防護機制確實阻止了有害輸出，基於「此類材料違反 Grok 的內容審核準則」而「拒絕遵循」某些提示詞。訴訟中包含一個 Grok 拒絕的特別令人毛骨悚然的提示詞範例，該提示詞使用「白色黏液」等詞語來掩蓋生成性化影像的意圖。

然而，該特定提示詞被拒絕的原因可能很明顯。Harwood 明確要求聊天機器人「脫掉她所有的衣服」，這直接違反了 xAI 用戶條款中禁止要求真實人物裸體的規定。在擬議的集體訴訟中，據稱 xAI 忽略了許多不良請求，在最近的受害者案例中，7,000 個有害輸出中，只有一個描繪「輪姦」的提示詞被報告給 NCMEC。

xAI 可能為了避免其他不良行為者規避防護機制，並未提供 Harwood 成功提示詞的範例，也未描述繞過過濾器的方法。xAI 僅指控 Harwood 修改提示詞以規避防護機制，「明顯違反了 xAI 的服務條款和美國法律」，其中包括「一些」涉及「未成年兒童肖像」的「淫穢」影像請求。

南卡羅來納州檢察長辦公室發言人告訴 Ars，Harwood 的案件仍在審理中。具體來說，他被指控「透過使用人工智慧平台」分發、運輸、展示、接收、銷售、購買、交換或招攬 CSAM。

該發言人未獲授權證實 Grok 是否為所使用的平台。然而，xAI 的訴訟聲稱，「根據所獲資訊和信念，Harwood 刑事案件中至少部分相關影像，是透過被告違規使用 Grok 生成或修改的。」

xAI 未立即回應 Ars 的置評請求。

在訴訟中，xAI 闡述了為何只有用戶應對 Grok 生成的 CSAM 負責。如果法院同意，這項裁決將能強化 xAI 在即將到來的潛在集體訴訟中的辯護，律師估計該訴訟可能涉及數千名受害者。這也可能讓 xAI 在任何受害者提出投訴時，有權對其他用戶採取行動。

xAI 表示，部分起訴 Harwood 是為了違約，以避免「巨額法律費用」以及若其任何受害者因其有害的 Grok 使用而起訴 xAI 時，可能被追究的「巨大損害賠償責任風險」。

Musk 的公司主張，法院應將 Grok 視為「一種中立工具，受用戶控制」。

xAI 辯稱：「如同任何生成式 AI 工具，每一個回應、每一張影像、每一次生成，都是用戶提示詞和指令的結果。」

訴訟強調，xAI 的使用條款在安全的 Grok 使用與有害使用之間劃清了「明確界線」，且每位用戶在註冊時都同意這些條款。

在 Harwood 案中，Grok 用戶被禁止使用 Grok「脫去或裸化真實人物」，或以其他方式利用聊天機器人修改「真實人物的影像或肖像，以將其描繪在親密或性情境中」，xAI 的條款指出。用戶也被禁止「以色情方式描繪人物肖像」或「性化或剝削兒童」。

此外，xAI 發現的任何 CSAM 都會報告給 NCMEC。

在訴訟中，xAI 聲稱 Harwood 應對其輸出負全責，因為他「公然違反」了 xAI 的規定，並「竭盡全力規避」Grok 的「技術防護機制」。

xAI 表示，Harwood 據稱透過依賴「誤導性提示詞」來做到這一點。xAI 辯稱，Harwood 在發現他可以生成非法內容後，也未能自我約束。在訴訟中，xAI 指控 Harwood 在第一次利用聊天機器人製作非法內容後，就應該知道他已被禁止使用 Grok。然而，xAI 並未明確指出 Harwood 收到任何關於其帳戶可能面臨處罰的警告。

相反，xAI 辯稱，Harwood 據稱「在違反 xAI 服務條款後，仍在相關期間繼續使用 Grok」。「他所同意的 xAI 服務條款禁止他在先前違規後繼續使用。」

xAI 希望美國地方法院能裁定 Harwood 違反了 xAI 的條款並構成違約。但或許更重要的是，Musk 希望法院承認一項免責條款，該條款規定只有用戶（而非 xAI）應對 Grok 生成的 CSAM 和 NCII（非自願性親密影像）負責。根據 xAI 的說法，當人們使用 Grok 時，他們應對其所有內容負責，xAI 堅稱這包括輸入和輸出。

法院是否會同意用戶應對 AI 輸出負責，仍有待觀察。值得注意的是，著作權局不認為 AI 輸出是人類創作的。如果法院難以理解由 AI 工具生成的兒童性影像如何能歸因於用戶創作（如果其他影像無法合法地以這種方式歸因），這可能會對 xAI 的攻勢造成阻礙。

訴訟指出，如果 xAI 贏得這場官司，Harwood 可能需要支付巨額賠償金，包括「對第三方造成的任何實際損害」、xAI「面臨潛在第三方索賠和訴訟的風險」，以及「xAI 的任何聲譽損害」。