Discord 承認,其 AI 審核系統存在一個錯誤,導致過去兩個月內有超過 8,000 名用戶遭到誤封。這些用戶的無害圖片,包括試算表、棋盤、遊戲紋理以及白色和灰色透明背景,都被錯誤地標記為有害內容。

該公司證實,此問題自五月以來就一直影響著用戶帳戶,上週末在團隊發現並修復問題之前,又有 200 名用戶被封鎖。目前所有受影響的帳戶都正在恢復中。

這起事件凸顯了 AI 輔助審核日益嚴峻的挑戰之一,因為許多平台越來越依賴自動化系統來大規模識別非法或濫用內容。

Discord 在 X 上的一篇詳細貼文中解釋,其自動安全系統透過將上傳內容與已知有害內容資料庫進行比對來運作。儘管這項技術旨在捕捉非法內容,但該公司承認它有時會產生誤判。原本應由人工審核員審查內容,但一個錯誤導致系統立即封鎖了受影響的帳戶。

該公司寫道:「我們正在努力建立更好的防護措施,以避免此類事件再次發生。」

在 X 和 Reddit 上,用戶聲稱他們僅僅因為上傳包含方形網格圖案的圖片就被永久停權。一些用戶推測,Discord 的 AI 審核工具對網格狀圖案變得越來越敏感,因為這些圖案過去曾被用於試圖模糊或偽裝 NSFW(不宜在工作場所觀看)和兒童剝削內容,以規避自動偵測系統。

受影響的用戶在社群媒體上表達了他們的沮喪,有些人認為僅憑自動偵測就永久封鎖帳戶可能會產生嚴重後果,特別是對於那些依賴 Discord 進行工作、遊戲社群或遠距離社交聯繫的用戶。

一位 X 用戶寫道:「因為這種不公平的事件而失去 Discord 帳戶可能會造成極大的破壞並嚴重影響用戶,每天都有數百萬用戶受到 AI 誤判封鎖的影響。這必須停止。」

Discord 並非唯一一家因自動化系統而面臨審核問題的公司。去年,Instagram 和 Facebook Groups 的用戶報告了普遍且不明原因的帳戶停權,許多人認為這是由 AI 審核系統造成的。儘管用戶指出自動化是可能的罪魁禍首,但 Meta 從未公開證實是否為 AI 錯誤所致。現在 Meta 的監督委員會正在推動提高透明度。

去年,Tumblr 也面臨用戶投訴,稱他們的帳戶在沒有明確解釋的情況下遭到大規模停權。