根據 WIRED 報導，舊金山城市檢察官已向蘋果和 Google 發出勒令停止函，要求兩家公司下架能將人「裸體化」或「脫衣」的應用程式，並停止從這項有害技術中獲利。舊金山城市檢察官 David Chiu 週四向蘋果和 Google 發出法律通知，要求他們從應用程式商店中移除 13 款換臉應用程式，這些程式允許用戶生成非自願的 AI 裸體影像。

信函指出，這些矽谷巨頭應停止「協助教唆」販售露骨的深度偽造影像，並「切斷」與應用程式開發商的商業關係。

Chiu 向 WIRED 表示：「生成非自願的私密影像是非法、有害且完全不可接受的。」Chiu 的辦公室此前曾對 16 個熱門的深度偽造網站採取法律行動，他指出蘋果和 Google 可能已從提供裸體化功能的應用程式中「賺取數百萬美元的費用」，他們應改進審核流程，從一開始就阻止這些應用程式上架。

Chiu 強調：「這些公司有責任確保其平台上的應用程式不會助長性虐待。」舊金山的法律信函指出，加州法律禁止支援創建深度偽造色情內容的服務。這些應用程式透過應用程式內購獲利，而科技公司會從中抽成。Chiu 說：「世界上一些最大、最成熟的科技公司正在助長這種行為，這必須停止。」

研究人員一再發現並舉報蘋果 App Store 和 Google Play Store 中存在允許人們使用 AI 生成性影像的應用程式，其中一些甚至被評為適合兒童使用。儘管新的法律和禁令旨在打擊網路上的露骨深度偽造內容，但科技和社群媒體公司卻持續將數百萬人導向這些有害技術。

蘋果和 Google 都制定了開發者政策，禁止在其平台上發布色情、虐待和騷擾內容。在研究人員和記者的舉報後，他們此前已下架數十款裸體化和深度偽造應用程式。

Google 發言人 Dan Jackson 向 WIRED 表示，該公司已因違反政策而刪除了「數百款」具有裸體化功能的應用程式，其中包括 Chiu 辦公室點名的五款 Android 應用程式，並採取其他措施限制對這些應用程式的存取。

Jackson 在一份聲明中表示：「Google Play 不允許包含性內容的應用程式，我們持續採取積極措施來偵測和移除有害內容的應用程式。」他補充：「當違規行為被舉報時，我們會進行調查並迅速採取行動，針對這些應用程式，我們已暫停數百款違規應用程式，並限制商店中『nudify』等相關搜尋詞彙。」蘋果在報導發布前未提供評論。

在過去五年中，網路上出現了大量利潤豐厚的深度偽造「裸體化」技術，最明顯的例子是今年一月 xAI 的 Grok 被用於創建數百萬張性化影像。許多應用程式、網站和機器人允許人們（主要是男性）上傳他人（絕大多數是女性和女孩）的照片，然後數位化「移除」衣物或將她們置於露骨的性場景中。

通常，創建性深度偽造影像只需要一張參考照片和幾次點擊，有些結果在幾秒鐘內即可生成。隨著底層生成式 AI 技術的改進，影像和影片變得更加逼真，有些服務免費提供結果，有些則收取少量費用來創建這些有害內容。WIRED 和 Indicator Media 先前的報導揭露了至少 90 所學校發生未成年人被製作深度偽造性虐待影像的事件。

Chiu 表示：「這些影像被用來霸凌、羞辱和威脅女性和女孩。」他補充：「這個產業對個人的聲譽、心理健康和自主權造成了可怕的影響。有些受害者甚至因此產生自殺念頭。」

城市檢察官辦公室調查的 13 款應用程式，App Store 上有八款，Play Store 上有五款，廣泛地將自己宣傳為「換臉」工具，但一旦用戶使用它們，就能夠創建性深度偽造影像。其中一款下載量超過百萬的應用程式網站，展示了十多種不同的 AI 影像生成風格，包括「比基尼曲線女王」、「豐滿平靜」和「電影式親密」。

許多風格都伴隨著描述顯示性化的女性影像。另一款被點名的應用程式首頁聲稱可以製作「免費且未經審查」的影片。WIRED 為了避免推廣這些應用程式而未點名。

對於蘋果和 Google 來說，這個問題並不令人意外。在過去一年中，多份報告指出兩家公司的平台上存在允許人們創建非自願裸體影像或影片的應用程式。今年一月和四月，獨立監督團體 Tech Transparency Project (TTP) 在 App Store 和 Play Store 上發現了約 100 款應用程式，以及一些裸體化技術的廣告。

（Google 的 Jackson 表示，該公司已移除了 TTP 識別出的大部分應用程式。）研究估計，這些應用程式的總下載量約為 4.8 億次，總收入可能達到 1.2 億美元。

TTP 主任 Katie Paul 表示：「我們在第一份報告後，不認為會再次看到這個問題，但第二份報告出來後，情況同樣糟糕，甚至更糟。」她指出：「蘋果和 Google 在行銷中對其應用程式商店的信任度和安全性做出了許多承諾。然而，現實情況並非如此。」

與此同時，康乃爾大學和喬治城大學的研究人員在五月發表的一篇預印本研究論文中，在 Google 和蘋果的應用程式商店中識別出 420 款提供一般換臉功能的應用程式。他們測試了其中 155 款，以查看是否可以用來創建裸體影像的換臉內容；結果顯示，70% 的情況下是可行的，而且這些應用程式並未包含防止此類行為的安全措施。

該研究指出：「這些應用程式都沒有被宣傳為裸體化應用程式。」這表明換臉應用程式以及許多其他形式的 AI 影像生成和編輯應用程式，實際上是「雙重用途」的：它們以無害的形式呈現，從而規避平台的內容審核，但卻具備創建有害內容的能力。

舊金山城市檢察官 Chiu 表示，在對這項技術造成的危害和規模感到「極度震驚」後，他的辦公室將繼續追查這個問題。他說：「我希望蘋果和 Google 能立即移除這些應用程式，並加強其審核系統，確保未來這類應用程式永遠不會出現在他們的平台上。」Chiu 強調：「我們希望這些公司能做正確的事，但如果他們不這麼做，我們將不得不考慮所有可行的法律選項。」