今天,我們發布了一款用於偵測兒少性虐待內容(CSAM)的新工具、旨在阻止有害行為並引導人們尋求幫助的干預措施、為開發者提供的實用資源,以及對兒少安全執法調查人員的支援。這些努力建立在我們的「兒少安全藍圖」和我們持續偵測、阻擋及舉報虐待行為的工作基礎之上。對於家長而言,目標很簡單:讓科技在人們的掌控下,幫助兒童保持安全。
眾所周知,打擊線上兒童掠奪者需要許多組織之間的協調合作。像 OpenAI 這樣的個別公司有責任防止我們的技術被掠奪者利用來傷害兒童,同時我們也必須與更廣泛的產業、兒少安全組織和執法單位合作,共同推進保護線上兒童的努力。
我們正在現有保護措施的基礎上,發布一個新的圖像分類器,能夠偵測潛在的 CSAM,包括 AI 生成的內容。這個新的分類器會尋找虐待的視覺跡象,幫助團隊識別以前可能從未見過的新圖像。它會返回分數,幫助審核人員決定哪些圖像可能需要優先關注。這是第一個廣泛可用、且能明確指出 CSAM 是否可能由 AI 生成的分類器。
我們的團隊在國家失蹤與受剝削兒童中心(NCMEC)的協助下,對這個分類器進行了訓練、評估和設計,以供實際部署。NCMEC 是一個營運網路舉報專線(CyberTipline)的非營利組織,該專線是線上兒童剝削的集中舉報中心。
我們將透過 OpenAI API 免費向經審核的組織提供這個分類器的存取權限,使 CSAM 偵測對兒少安全組織和更廣泛的產業(包括規模不一的團隊)來說更容易取得。兒少安全是一個全產業的問題,需要組織之間強大的協作和多樣化的解決方案。我們已與 Tech Coalition 和 ROOST 合作,協助我們分享這個新工具的存取權限,我們也大力支持其他組織開發的工具,例如 Thorn 的 Safer CSAM 偵測系統。
此外,我們最近開始參與 Tech Coalition 的 Lantern 計畫,將分享和接收與線上兒童性剝削和虐待相關的信號,以強化跨平台的協作。
我們已在內部並與早期合作夥伴進行了分類器測試,以衡量它偵測虐待內容的數量、誤報其他圖像的頻率,以及它如何支援安全團隊。他們的意見回饋幫助我們發現了弱點並改進了系統。
早期測試表明,該分類器可以幫助審核人員專注於虐待圖像,同時減少對誤報的審核。在對用戶上傳圖像的評估中,我們將新分類器與現有保護措施進行比較後發現:新分類器可以減少審核工作,我們估計它將減少 48% 的圖像標記,同時找到與現有工具大致相同數量的虐待圖像。新分類器標記的圖像包含虐待內容的可能性約為兩倍。
早期存取合作夥伴也評估了分類器如何支援他們自己的安全團隊。在 fal 對人工審核的生產圖像進行測試時,審核人員確認了分類器 72% 的高置信度標記為新型 CSAM。invideo AI 的測試顯示,每四個被標記的案例中就有一個導致帳戶被禁用。在 SafetyKit 針對兒童性化繪畫或動畫的評估中,該分類器偵測到了 90% 的案例。
有關該分類器的更多資訊可在 CSAM 分類器模型卡中找到。有興趣使用該分類器的組織將能夠透過我們的申請表請求存取權限。我們將根據使用者的意見回饋持續改進該分類器。
我們已經禁止 CSAM,訓練我們的模型拒絕相關請求,並對違反我們政策的帳戶採取行動。我們正在這些保護措施的基礎上,在 ChatGPT 中新增產品警告,以阻止尋找虐待內容的嘗試,解釋後果,並引導人們尋求幫助以停止有害行為。
該警告明確指出,對兒童進行性化會造成傷害,即使所請求的內容是 AI 生成的。伴隨警告,我們將刪除被標記的對話並暫停 ChatGPT 存取 24 小時,同時提供專業支援以幫助人們停止有害行為。重複違規可能導致更長的限制,最終導致帳戶關閉或向當局舉報。
我們與研究和開發預防兒童性虐待計畫的組織和學術顧問合作制定了這種方法,其中包括 Protect Children、Lucy Faithfull Foundation、肯特大學法醫心理學研究員兼榮譽講師 Caoilte Ó Ciardha 博士,以及塔斯馬尼亞大學的 Joel Scanlan,他們獨立評估了一項嚇阻訊息試驗。
線上兒童的保護不僅止於偵測。我們發布了 CSAM 指南,為開發者提供實用步驟,以預防虐待、偵測有害內容並採取行動。該指南是在 Tech Coalition、Thorn、NCMEC 和 Internet Watch Foundation 的協助下開發的,旨在為處於不同安全系統建置階段的組織提供幫助。
該指南提供了明確的規則、用戶舉報疑慮的方式、偵測工具,以及審核和舉報可疑虐待行為的流程。它還解釋了安全識別碼如何幫助開發者將濫用行為與個別用戶聯繫起來,以及如何支援審核敏感內容的人員。開發者可以將其與我們的圖像分類器、內容審核 API、ROOST 的自託管審核控制台 Coop,以及 Thorn 的 Safer 等專門的 CSAM 偵測服務一起使用。
我們對協作和支援更廣泛開發者生態系統的承諾也體現在我們與 Anthropic 和 Google 共同委託制定新指南的工作中,該指南關於如何回應 AI 系統中兒童性剝削和虐待的揭露。Tech Coalition 最近發布了這份指南,為開發者提供了處理這些敏感情況的實用建議。
我們已經看到這份指南促使更多開發者使用兒少安全工具,並註冊向 NCMEC 舉報 CSAM。
保護兒童也意味著支援專門的兒少安全調查人員,他們致力於尋找受害者並阻止虐待行為。正如我們與 Thorn 公開討論的,AI 可以幫助調查人員組織和優先處理資訊,並減少不必要的虐待內容接觸。我們也正在透過新工具和培訓來支援兒少安全執法單位,教導他們如何在調查中使用 AI,包括專用的外掛程式、偵查工具和複雜的數據分析,存取權限由計畫管理員管理。
在發布時,第一個工具將幫助調查人員審查冗長的聊天記錄和法律程序回覆,識別潛在的關聯,並建立時間軸,調查結果將連結到原始資料。
初步培訓計畫將作為概述和示範,並輔以實用的實地指南,供團隊日後參考。它將介紹這些工具以及它們如何融入調查工作。存取權限將取決於機構授權和計畫要求。未來版本的培訓將在區域、國家和國際會議上提出。
這些努力有一個共同目標:防止兒童受到傷害,並在虐待發生時加強應對。我們將持續改進我們的保護措施,同時賦予兒少保護組織、開發者、研究人員和調查人員所需的工具、資源和專業知識,以保護兒童、打擊剝削並將犯罪者繩之以法。透過共同努力,我們可以利用 AI 的力量,在打擊兒童性剝削和虐待的鬥爭中發揮有意義的作用。