本週,舊金山檢察長 David Chiu 發出停止與終止函,要求 Apple 和 Google 從其應用程式商店中移除 13 款所謂的「裸體化」應用程式,據 Wired 報導。

這些裸體化應用程式可以輕易地將真實人物的普通照片轉換成露骨影像。這些有害的 AI 工具讓不法分子能夠移除衣物、改變人物特徵、將他們置於性化姿勢,並將受害者的臉部替換到其他人的裸體上。

Wired 報導,Chiu 的信函警告,應用程式商店正在違反「加州禁止支援創建深度偽造色情內容服務」的法律。

Chiu 在接受 Wired 採訪時表示,他的辦公室對這種裸體化技術的普及程度感到「絕對震驚」,因為隨著更多工具的出現,受害者大多是女性和兒童,且規模驚人。

Chiu 告訴 Wired:「這些影像被用來霸凌、羞辱和威脅女性和女孩。這個產業對一個人的聲譽、心理健康和自主權造成了可怕的影響。甚至有受害者因此產生自殺念頭。」

Wired 審閱了這些信函,並證實 Chiu 要求 Google 移除五款應用程式,Apple 移除八款。報導中沒有提及任何應用程式的名稱,以「避免推動人們去尋找它們」,Wired 表示。然而,Wired 報導指出,其中一款應用程式的下載量超過一百萬次,並宣傳其功能可以將女性影像性化或製作「免費且未經審查」的影片。

Chiu 告訴 Wired,允許任何此類應用程式留在應用程式商店中是不可接受的。

Chiu 表示:「生成未經同意的私密影像是非法、有害且完全不可接受的。」他的辦公室估計,Apple 和 Google 可能已經「賺取了數百萬美元的費用」,因為他們忽視了這些有害應用程式,而不是採取更強硬的行動或開發更好的檢測方法,以避免從公共危害中獲利。

Google 發言人 Dan Jackson 在給 Ars 的聲明中表示,Chiu 標記的五款應用程式已因違反有害內容政策而被 Google Play 商店停權。

Jackson 說:「Google Play 不允許包含性內容的應用程式,我們持續採取積極措施來檢測和移除有害內容的應用程式。當違規行為向我們報告時,我們會進行調查並迅速採取行動,在這些應用程式的案例中,這包括停權數百個違規應用程式,並限制商店中『nudify』等相關搜尋詞彙。」